Chloroquine : les graves erreurs scientifiques de la méthode Raoult

La recherche médicale ne faiblit pas pour trouver des traitements et un vaccin contre la maladie Covid-19 provoquée par le coronavirus SARS-CoV-2. Les pistes étudiées ne manquent pas. Parmi elles, la chloroquine (et plus précisément sa variante hydroxychloroquine) a été extrêmement médiatisée. La raison ? Cet antipaludique a fait l’objet de déclarations spectaculaires du docteur Didier Raoult : il estime qu’il s’agit du meilleur remède contre Covid-19. Mais rapidement, la communauté médicale a tiré la sonnette d’alarme sur cette affirmation, considérée comme précipitée, ainsi que sur sa méthode peu éthique.

« L’étude ne respecte aucune méthode »

L’affaire a pris la dimension d’une polémique nationale, ce qui entretient énormément de confusion sur les faits réels entourant la molécule. Que l’étude de Raoult ne suive pas la méthode scientifique n’est pas qu’une simple question de procédure académique. « Dans l’esprit collectif, beaucoup semblent croire que ce sont juste des scientifiques et des journalistes scientifiques qui râlent alors qu’il y a des résultats positifs : mais non, il n’y a pas de résultats positifs que l’on peut attester. L’étude ne respecte aucune méthode, alors c’est comme construire un mur sans ciment, si on s’appuie dessus, il s’écroule », illustre à Numerama Nicolas Martin, présentateur de La Méthode scientifique sur France Culture.

Illustration du coronavirus.

Source : Numerama / Claire Braikeh

Sur le terrain, au sein des hôpitaux, l’hydroxychloroquine est délivrée à des patients en état grave, lorsqu’il n’y a pas d’autre recours. C’est un traitement dit « à titre compassionnel ». La molécule fait également partie du solide essai clinique européen Discovery, qui vise à comparer les meilleures pistes. Pour autant, il n’est pas possible d’administrer de l’hydroxychloroquine de manière généralisée, en raison de l’absence de preuves que pointe Nicolas Martin. La méthode scientifique ne sert d’ailleurs pas qu’à évaluer l’efficacité d’une molécule, mais aussi « son innocuité et sa non-toxicité ». Or, la chloroquine « est cardiotoxique, classée dans la liste des poisons, et on atteint vite des doses aux lourds effets secondaires ». Le 29 mars 2020, une alerte était donnée sur des cas de troubles du rythme ou de la conduction cardiaque, voire des arrêts cardiaques s’avérant fatals, chez des patients traités sous hydroxychloroquine associée ou non à l’azithromycine. La chloroquine n’est pas un traitement anodin.

Pour bien comprendre l’impact concret des problèmes méthodologiques des études de Didier Raoult, nous les avons passées à la loupe avec François Séverac, méthodologiste et médecin biostatisticien à l’hôpital civil de Strasbourg. Il dresse point par point les biais de l’étude sur l’hydroxychloroquine. D’emblée, il avertit : « Vu les problèmes méthodologiques et vu le nombre de biais dans l’étude, qui est totalement préliminaire, on ne peut pas en confirmer les résultats. En revanche, si tous les biais de cette étude empêchent de démontrer que le traitement fonctionne, cela ne veut pas dire qu’il ne fonctionne pas. » Un double-constat que partage Elisabeth Bik, consultante scientifique et spécialiste du microbiome humain, qui a également lu en détail l’étude, et avec qui nous avons aussi échangé par mail.

Les 8 erreurs de la première étude de Raoult

La remarque évidente qui apparaît au sujet de la première étude publiée menée par le docteur Raoult et son équipe, c’est qu’elle se base sur un très faible échantillon. « Le groupe des patients traités et le groupe de contrôle sont petits », regrette Elisabeth Bik. Elle ajoute qu’il faut également relever que « des données sur les résultats de l’essai ont été changées selon les différentes versions en ligne du papier ». Mais ces deux problèmes ne sont rien par rapport aux autres erreurs que les scientifiques nous ont indiquées.

L’étude n’est pas randomisée

François Séverac et Elisabeth Bik ont tous deux pointé du doigt l’absence de randomisation de l’étude. « Normalement, pour que l’on s’assure d’avoir des groupes comparables sur tous les points, on fait un tirage au sort », nous explique François Séverac. Cela signifie qu’on demande au patient s’il souhaite participer à l’étude, puis un tirage au sort va le diriger vers le groupe de contrôle (celui auquel on n’administre pas le traitement) ou vers le groupe de traitement (celui auquel le traitement expérimenté est administré). L’étude de Raoult n’a pas procédé à cette randomisation, ce qui est d’ailleurs écrit sur l’étude elle-même. « Il apparaît que les patients traités et ceux non traités ont été choisis par les auteurs de l’étude », relève Elisabeth Bik. Un groupe est à un âge plus avancé que l’autre, par exemple.

Sans randomisation, on ne peut pas savoir si l’amélioration peut être attribuée au traitement donné

Mais pourquoi est-ce donc si important ? « Puisque l’étude s’intéresse de savoir si le patient a toujours des traces du virus à J+1, J+3… plein de choses peuvent jouer sur cela, comme l’âge, des facteurs génétiques et d’autres qu’on ne connaît pas. Si on fait un tirage au sort, ces facteurs vont se répartir aléatoirement entre les deux groupes », répond François Séverac. Donc, quand on compare les deux groupes après une randomisation, vu qu’ils ont les mêmes caractéristiques, si l’on trouve une différence entre les deux groupes, « il est facile de l’attribuer à la seule chose qui change entre les deux groupes : la présence ou l’absence de traitement ». Sans ce tirage au sort, on ne peut pas être sûr que les différences soient attribuables au traitement testé. « La randomisation est la seule méthode qu’on connaisse qui permette d’attester l’efficacité d’une molécule », insiste Nicolas Martin.

À quel stade de la maladie ?

« On ne sait pas à quel stade de la maladie sont inclus les patients », note ensuite François Séverac. On sait effectivement que la maladie n’a pas les mêmes effets sur tous les patients. Si Covid-19 entraîne parfois des symptômes plus sévères, jusqu’à quelques fois un état grave entraînant potentiellement la mort, il y a de très nombreux cas de malades ayant guéri d’eux-mêmes au bout d’un délai d’environ 14 jours. Il n’est pas impossible que la guérison de certains patients du groupe traité à la chloroquine ait guéri, tout simplement en raison d’un stade plus avancé dans la maladie au moment où ils ont été inclus dans l’étude.

Placebo, clinique de provenance : des biais de confusion

Aucun placebo (médicament sans substance active) n’a été administré au groupe de contrôle, auquel on devrait normalement fournir un faux médicament à base de chloroquine pour mesurer, justement, l’effet placebo potentiel sur des patients qui se seraient normalement rétablis. « Si on ne donne pas de placebo, le résultat est potentiellement l’effet du traitement ajouté à l’effet placebo », nous dit François Séverac. Car l’effet placebo est l’effet positif qui se produit lorsqu’on pense prendre un médicament efficace : si on administre pas de placebo à une partie des patients, on ne peut pas mesurer le rôle possible de cet effet. En l’occurrence, « il est probablement mince, car il est plus important sur un critère subjectif comme la douleur, mais il peut être là. »

Par ailleurs, en raison de l’absence de randomisation, les deux groupes se traduisent par une asymétrie importante : les patients du groupe traité à la chloroquine venaient tous de Marseille, là où l’autre groupe mélangeait des patients venant d’autres villes et donc d’autres cliniques. « Les patients recevaient potentiellement d’autres traitements, à la discrétion des médecins. On ne prend pas les patients en charge partout pareil. Quand on fait une étude multicentrique, il faut une répartition des patients des différents centres dans les deux groupes, sinon il y a un ‘effet centre’. Là cet effet n’est pas du tout contrôlé », remarque François Séverac.

Un critère biologique au lieu d’un critère clinique

« À partir de l’étude, on ne sait pas si les patients vont véritablement mieux, on sait juste que leur test de dépistage en PCR, à partir d’un prélèvement de gorge, est devenu négatif », pointe Élisabeth Bik. Cette incertitude provient d’un choix méthodologiquement étonnant de la part de l’équipe du docteur Raoult : un critère biologique au lieu d’un critère clinique.

François Séverac nous explique que cela correspond en fait à ce qu’on appelle « critère de jugement », à savoir ce qu’on mesure pour savoir si ce qu’on teste fonctionne ou non. L’équipe de Raoult a choisi la charge virale. C’est un critère biologique : on mesure à partir d’un prélèvement s’il y a encore le virus ou non chez le patient. Or, le meilleur type de critère pour ce type d’essais est le critère clinique. Cela consiste par exemple à savoir s’il y a une véritable amélioration de l’état pulmonaire. Il s’agit d’un aspect essentiel pour savoir si le traitement peut réellement améliorer l’état des patients. Or, avec le critère biologique, « on n’est pas sûr que l’action sur la charge virale se répercute au niveau clinique. Peut-être que l’affaiblissement de la charge virale n’est pas synonyme d’amélioration clinique ».

Un suivi incomplet

Dans la partie de l’étude dédiée à l’explication de la méthode, les auteurs de l’étude parlent d’un suivi des patients de quatorze jours. Mais les résultats présentés s’arrêtent après le sixième jour. « C’est curieux d’annoncer qu’on suit les patients 14 jours, mais de ne pas dire ce qu’il se passe après le sixième jour », s’étonne François Séverac auprès de Numerama.

Des patients exclus de l’étude

On en vient maintenant à l’un des problèmes méthodologiques les plus graves de l’étude en matière de biais. Concernant le groupe de contrôle, l’étude a pu être complétée sur tous les patients impliqués : tout va bien. En revanche, sur le groupe des personnes traitées à la chloroquine, François Séverac nous montre que six patients ont quitté l’étude : l’un rentre chez lui tout simplement, car il ne souhaite pas poursuivre ; l’un a des nausées et a donc souhaité arrêter le traitement ; trois patients sont admis en soin intensif, car ils se dégradent, ils sont alors écartés de l’étude ; et un patient est décédé, ce qui l’a écarté automatiquement de l’étude. Ces six patients ne sont pas comptabilisés dans les résultats — même si le papier mentionne qu’ils ont quitté l’étude.

« Si on exclut les cas graves du groupe de traitement en cours de route, c’est plus facile de montrer des résultats positifs »

« Si on exclut les cas graves du groupe de traitement en cours de route, c’est plus facile de montrer des résultats positifs », pointe le méthodologiste. C’est aussi le résultat de l’absence de randomisation : avec un tirage au sort dans les règles, des patients avec des états similaires auraient été présents dans les deux groupes.

Des références inaccessibles

Comme dans toute étude, il existe une introduction. Dans celle-ci, Didier Raoult explique que des études chinoises préalables ont déjà prouvé l’efficacité du traitement, par ailleurs à la fois sur des critères biologiques et cliniques. Il met alors deux références, c’est-à-dire des sources à son propos. Normalement, si on allait voir ces références, on devrait tomber sur leurs résultats.

François Sévérac précise que ce n’est pas le cas : « La première référence est une lettre de deux pharmaciens chinois qui citent une conférence de presse du Conseil d’État chinois qui affirme qu’une étude a marché ; la deuxième référence est un lien internet vers le registre des essais cliniques chinois, mais c’est juste une liste d’essais déclarés, sans leurs résultats. Ce n’est pas comme cela que ça marche ! »

Un papier révisé par les pairs, vraiment ?

Comment un papier avec autant de biais et d’erreurs méthodologiques a-t-il pu être publié dans une revue scientifique ?

L’un des auteurs est rédacteur en chef du journal qui a publié l’étude

« Je suis très critique envers le fait que l’étude ait été publiée comme étant révisée par les pairs sans relever aucun problème. L’un des auteurs [de l’étude] est le rédacteur en chef du journal où cela a été publié, alors il se peut très bien que le papier n’ait pas été révisé du tout », nous explique Élisabeth Bik. Une inquiétude partagée par François Séverac, qui a également noté ce lien entre les auteurs de l’étude et le comité de validation du journal.

Et la deuxième étude, avec davantage de patients ?

Plus récemment, Didier Raoult et son équipe ont diffusé une deuxième étude (en pre-print). Cette fois-ci, l’échantillon est plus large, puisque le test clinique est mené sur 80 personnes. Cela suffit-il à régler les problèmes ? Non, car, cette fois-ci, un nouveau problème se pose. Cela ne manque plus seulement de randomisation, il y a une absence totale de groupe de contrôle, c’est-à-dire d’un groupe de personnes ne prenant pas le traitement.

Un manque de méthode que Nicolas Martin déplore, puisque cela disqualifie à nouveau les résultats. « Oui, les résultats ont l’air massivement positifs avec cette deuxième étude. Mais ils en ont seulement l’air. Pour pouvoir attester de la validité des résultats, il faut un groupe de contrôle, avec le même nombre de personnes que dans le groupe traité. On sait que 80 à 85 % des personnes guérissent spontanément du Covid-19, alors sans groupe de contrôle, qu’est-ce qui permet de dire que ces personnes ont mieux guéri grâce au traitement ? Il faut un élément de comparaison. Et là, rien ne permet de dire que ces personnes-là vont mieux en raison du traitement. »

Le méthodologiste François Séverac indique à Numerama qu’il ne comprend pas vraiment, au fond, pourquoi Didier Raoult et son équipe n’ont pas suivi la méthode scientifique. « Cela n’aurait pas pris plus de temps », s’étonne-t-il. Élisabeth Bik confirme. Et Nicolas Martin renchérit : cette mauvaise étude et la polémique qu’elle a générée ont même fait « perdre du temps à la recherche et aux patients, en plus de dégâts sociétaux ». Parmi ces pertes de temps : les chercheurs de l’essai clinique européen Discovery ont du mal à trouver des patients acceptant de tester d’autres traitements que l’hydroxychloroquine. Autre conséquence problématique : « Les gens qui ont besoin de chloroquine pour des maladies chroniques commencent à avoir du mal à en trouver en pharmacie », ajoute François Séverac. Le docteur Baptiste Beaulieu expliquait quant à lui sur Twitter que de nombreux patients atteints par Covid-19 insistent dorénavant pour être traités à la chloroquine, même quand leur état ne le justifie pas, ce qui implique davantage de travail pédagogique de la part du personnel soignant, pourtant déjà surchargé. « Communication brouillonne. Plus personne ne comprend. Et on écope. »

Nicolas Martin déplore un discours triomphaliste basée sur une étude qui n’est pas viable, dans un contexte pourtant déjà suffisamment anxiogène. Si on peut comprendre l’envie d’aller vite, « on oublie que la recherche va déjà très vite, elle met déjà les bouchées doubles par rapport à toutes les épidémies précédentes. On aimerait un médicament miracle. Mais ça n’existe pas ». Les deux scientifiques que nous avons interrogés, ainsi que le présentateur de La Méthode scientifique, nous ont précisé que la chloroquine reste une piste prometteuse, dont on peut espérer une confirmation sérieuse. Cela ne changerait toutefois rien aux dégâts provoqués par l’hypermédiatisation des études de Didier Raoult. Car même si la chloroquine s’avérait fonctionnelle contre Covid-19 et faiblement toxique grâce à une bonne posologie et une bonne combinaison, la com’ spectaculaire et précipitée ainsi que la faiblesse scientifique des études du docteur Raoult auront ralenti la recherche sur ce sujet, en plus d’avoir ajouté de la confusion dans un contexte déjà troublé par une grave crise sanitaire.

Numerama a pris contact avec Méditerranée Infection, où officient les auteurs de ces études, en indiquant les erreurs pointées par les scientifiques consultés. Nous n’avons pas reçu de réponse à ce jour.