Mammites : Homéopathie vs antibiotiques, LCA

Les Zétérinaires vous proposent la lecture critique d’un article en accès libre (nous ne le résumerons donc pas) au sujet duquel ils ont été interpellés via Twitter. Cet article compare le traitement des mammites soit avec de l’homéopathie soit avec des antibiotiques :
Keller, D., Sundrum, A.(2018) Comparative effectiveness of individualised homeopathy and antibiotics in the treatment of bovine clinical mastitis: randomised controlled trial, Veterinary Record, 182, 407.

En dehors d’un travail pédagogique, pourquoi faire une lecture critique d’un article étudiant une discipline aujourd’hui reconnue comme une pseudo-médecine ?
Tout d’abord parce qu’à partir du moment où cet article est paru dans une revue sérieuse – c’est à dire ni prédatrice ni spécifique CAM – ça signifie que certains ont considéré qu’il présentait un intérêt. Ensuite parce qu’il est toujours intéressant de faire une lecture méthodique des articles scientifiques, même et surtout lorsqu’ils confirment ce qu’on pense déjà savoir. Ce n’est que grâce à cette méthode que l’on peut affirmer que telle étude est une preuve pour telle affirmation. Une fois n’est pas coutume, on va donc commencer par la conclusion qu’on peut tirer d’une lecture simplement attentive mais non encore critique pour l’instant.

Conclusion

Que nous dit cette étude : 

• les mammites à E. coli n’ont pas besoin d’antibiotiques : cela confirme ce qu’on sait déjà
• les mammites d’origine non bactérienne (30% dans cette étude) n’ont pas besoin d’antibiotiques et ceux-ci ne donnent pas de meilleurs résultats que le placebo. Cela on le sait déjà et on peut facilement l’expliquer : les antibiotiques servent à tuer les bactéries donc s’il n’y a pas de bactéries, ils ne servent à rien
• les traitements anti-infectieux sont sub-optimaux pour obtenir la guérison bactériologique des mammites et échouent souvent à faire baisser les taux cellulaires à une valeur entièrement satisfaisante, en particulier sur le long terme : cela confirme ce qu’on sait déjà
• l’homéopathie ne donne pas de meilleurs résultats que le placebo : cela confirme le consensus scientifique actuel

Introduction

Les auteurs mettent un point d’honneur à souligner leurs soucis dans la méthodologie. Nous tenons à préciser que nous allons nous concentrer dans la suite de ce texte sur ce qui ne va pas dans cette étude même si un certain nombre de choses y sont intéressantes d’un point de vue méthodologique : critères d’inclusion/exclusion, nombre d’animaux inclus, standardisation de la répertorisation homéopathique…

Bibliométrie 

Rien à signaler.
Article issu d’un journal sérieux d’un éditeur sérieux. Son impact-factor est de 2 ce qui est tout à fait honorable en médecine vétérinaire et supérieur au JAVMA par exemple.
Auteurs à priori sans liens d’intérêt particuliers. Ils sont peu connus donc non indexés mais ce n’est pas étonnant en médecine vétérinaire.

Analyse du matériel et méthode 

Le protocole prévoit un examen, par le vétérinaire, de l’animal ayant une mammite légère ou modérée, les mammites sévères étant exclues. Il prescrit 3 traitements possibles, c’est à dire un pour chaque groupe (antibiotique, placebo et homéopathique). Puis l’éleveur après son départ pioche dans une boîte noire un bâtonnet de couleur qui correspond à l’un des groupes de traitement². Le traitement antibiotique se fait par voie intramammaire. Les traitements placebo (granules de sucre) ou homéopathique (choisi par le véto par répertorisation au sein d’une liste restreinte de souches diluées à 30 CH) sont quant à eux dilués dans de l’eau à raison de 10 granules et administrés par voie vaginale ou buccale¹. En cas d’échec de traitement, les éleveurs peuvent le modifier de leur fait et à leur guise³. Les vétérinaires réalisent les évaluations de l’évolution des mammites sans connaître le traitement effectué¹ à J7, J15 et J28.  Les résultats sont analysés en intention de traiter*.

¹ Par conséquent dans ce protocole, on doit admettre que seul le placebo et l’homéopathie peuvent être considérés en aveugle. Le traitement antibiotique est forcément reconnu par l’éleveur puisque administré par une autre voie que les deux autres groupes. Les auteurs assument ce choix pour des raisons éthiques, la voie intramammaire pouvant être traumatique. L’éleveur aura donc un comportement de traitement certainement différent, ce que les auteurs admettent plus ou moins dans la discussion. On ne peut alors comparer les résultats du groupe antibiotique par rapport aux autres groupes qu’avec énormément de précautions, le risque de biais est important. Et même pour les groupes homéopathie et placebo c’est tendancieux car l’éleveur connaîtra le groupe couleur jaune et le groupe couleur verte (couleurs données à titre d’exemple) : s’il perçoit une différence, même inexistante, entre l’un des groupes, alors son comportement pourra être différent entre chaque groupe. Au final ce qui est évalué en aveugle, c’est l’ensemble [traitement-animal-éleveur]. Et la composante éleveur en tant que soigneur est source de biais non négligeable d’autant qu’ils sont peu nombreux (quatre).

2 Le mode de randomisation est aussi incorrect.
D’abord l’éleveur doit tirer un bâton « sans remise » dans une boîte mais rien ne garantit que toute remise soit impossible. Si la couleur ne lui plaît pas, rien ne l’empêche matériellement de remettre le bâton et tirer une autre couleur. Très rapidement, l’éleveur saura quelle couleur correspond au groupe antibiotique et lesquelles correspondent aux groupes placebo/homéopathie. S’agissant d’un éleveur « bio » (à priori plutôt favorable à l’homéopathie) et de 3 éleveurs « non bio », on ne sait pas dans quelle mesure ils ne seraient pas tentés de tricher. Les auteurs admettent d’ailleurs dans la discussion que les éleveurs peuvent avoir eu des comportements différents – en particulier en cas d’échec de traitement – selon qu’ils soignaient un animal des groupes placebo/homéopathie ou un animal du groupe antibiotique.

Le deuxième point où la randomisation pêche est plus mathématique : chaque animal n’a pas une probabilité égale d’appartenir à tel ou tel groupe puisqu’un « tirage sans remise » n’est pas un tirage aléatoire optimal**. Il existe aujourd’hui des sites ou des logiciels très bien faits qui sont capables de produire des tableaux de randomisation et il eût été préférable de réaliser le tirage par tableau d’allocation, ce qui prend 5 minutes sur internet ou sur un logiciel spécialisé. Préparer ensuite des boîtes scellées avec traitements [vache 1 élevage 1], [vache 2 élevage 1], [vache 3 élevage 1], etc, chaque boîte contenant le groupe de traitement correspondant à l’allocation prévue dans le tableau. Le vétérinaire remet sa prescription médicale à l’éleveur et un délivreur remet alors le traitement en fonction des instructions de la prescription vétérinaire et du contenu de la boîte. Certes, cela nécessite un intervenant supplémentaire dont l’articulation avec le vétérinaire n’est pas simple, augmentant la difficulté de réalisation ainsi que les coûts. Par contre cela résout le problème de randomisation et le problème d’aveugle au moins sur placebo et homéopathie puisque l’éleveur ne sait pas à quel groupe appartient la vache qu’il traite. Tricher sera toujours possible mais demanderait alors plusieurs complices, ou bien que l’éleveur décide de ne pas suivre les consignes du tout ce qui interrogerait sur ses motivations en tant que volontaire au début de l’étude. Il s’agirait purement d’une fraude intentionnelle plutôt que d’une simple impulsion humaine de remettre un bâton qu’on a à peine sorti de la boîte.

³ Ce n’est pas explicite dans le texte mais la discussion évoque ce fait sans qu’il soit très clair de comprendre si c’est prévu au protocole ou bien si les auteurs s’interrogent sur les actions par l’éleveur : soit il s’agit d’une liberté permise par le protocole et donc codifiée mais on n’en trouve aucune mention dans le descriptif de matériel et méthode, ce qui n’est pas normal ; soit c’est une liberté que prennent les éleveurs parce que ce n’est pas interdit mais pas non plus prévu. On a donc là quelques biais potentiels.

Autre point de protocole qui gênera un vétérinaire français, c’est le choix de la bactériologie à 28 jours : si on constate de nouveau une mammite dans le même quartier au delà de 15 jours après guérison, on considère qu’il s’agit d’une nouvelle mammite et non d’une rechute, sauf cas particulier. Ce qui se passe entre 15 et 28 jours pourrait ainsi signifier une nouvelle mammite et non une rechute.

→ Que peut détecter un lecteur n’ayant pas de formation scientifique ni vétérinaire, juste un esprit critique affûté ? Ne pas pouvoir considérer le groupe antibiotique comme caché dans le protocole et surtout la liberté laissée à l’éleveur de changer de traitement, sont sûrement les points qui seraient les plus évidents à détecter. Le problème de la randomisation demande un peu de connaissance en statistiques ou alors en guide de bonnes pratiques d’expérimentation, c’est donc plus difficile à repérer pour un non initié. 

Analyse de Résultats

La présentation est propre hormis quelques points litigieux dans le chapitre sur les découvertes additionnelles :

• il a été analysé la significativité des différences de résultats en fonction des différents pathogènes. Deux problèmes à ça. Le premier c’est que pour certains pathogènes, les effectifs sont trop petits pour donner un sens à l’analyse des différences de résultats en terme de p-value, une simple description numérique aurait sans doute été aussi voire plus pertinente. Ensuite, on est là en dehors du design de l’étude dans le cadre d’une inflation du petit « p » car plus on analyse de paramètres, plus on approche de la certitude d’obtenir un  p < 0,05 et il faut normalement appliquer une correction (et même comme ça, c’est limite). Ces résultats ne peuvent donc être considérés que comme des résultats exploratoires… De plus, les deux espèces qui montrent des différences, S. uberis et S. dysgalactiæ, sont respectivement la première et la troisième espèce présentes dans les prélèvements des mammites tandis que la seconde espèce est E. coli pour laquelle on pouvait s’attendre à ne pas avoir de différence (voir conclusion). Les autres espèces sont soit des espèces connues pour être extrêmement difficiles à soigner, soit en des proportions tellement ridicules que faire des stats dessus est un non- sens. Une manière plus neutre de présenter le résultat aurait été de montrer la différence statistique ou non pour les trois premiers germes responsables des mammites dans cette étude, en terme de fréquence, puis de dire qu’il n’est pas possible de faire des statistiques sur les autres germes.

• le chapitre sur les « total cure » est présenté de manière un peu biaisée. En lisant rapidement, on comprend qu’il n’y a pas de différence entre les traitements au final sauf à 28 jours où le placebo est le meilleur. Les résultats des animaux à culture cellulaire positive et animaux à culture cellulaire négative sont présentés de manière compilée. Si on regarde le tableau 5, les mammites avec culture bactérienne positive soignées avec les antibiotiques sont plus nombreuses à avoir guéri, ensuite viennent les vaches sous placebo puis celles sous homéopathie et les différences sont statistiquement significatives. Cette information est pertinente pour nous amener à envisager que le moyen d’économiser les antibiotiques, c’est de ne pas utiliser d’antibiotiques sur des mammites lorsque les cultures sont négatives et non de chercher à remplacer les antibiotiques par des procédés dont on sait qu’ils vont à l’encontre des lois de la physique. En gardant toutefois en mémoire que la méthodologie demande une grande prudence dans la comparaison du groupe antibiotique avec les autres groupes.

Ces 2 points montrent à eux seuls avoir affaire à des auteurs partiaux souhaitant montrer l’utilité de l’homéopathie dans le traitement des mammites. Peut-être n’est-ce pas volontaire, mais c’est le cas. Edzard Ernst rappelle souvent que lorsqu’on fait de la recherche, il faut s’efforcer de chercher à démontrer que ce qu’on souhaite prouver est faux et c’est à force de ne pas y parvenir qu’on peut alors considérer que c’est vrai, jusqu’à preuve du contraire.

→ Que peut détecter un lecteur n’ayant pas de formation scientifique ni vétérinaire, juste un esprit critique affûté ? Sans connaissance véto concernant les mammites, il s’avère difficile pour un lecteur de repérer le premier point, si ce n’est dans la dimension purement mathématique avec la problématique de faire des stats sur de si faibles effectifs. Le deuxième point émergera par contre assez facilement pour quiconque lors de toute lecture attentive.

Analyse de Discussion

La discussion nous livre toute la panoplie des excuses habituellement avancées par les homéopathes pour justifier qu’une étude ne fonctionne pas :

• le protocole prévoit une certaine individualisation mais en fait ce n’en est pas une vraie
• les dilutions n’étaient peut-être pas les bonnes mais comme le protocole les fixaient, elles ne pouvaient pas être changées
• certains animaux seraient davantage malades parce qu’ils pourraient être dans l’aggravation post-traitement homéopathique, la doctrine homéopathique prévoyant que lorsqu’un remède fonctionne, alors l’état pathologique du patient s’aggrave avant de s’améliorer
• une preuve que ça marche, c’est quand on regarde les vaches dont les comptages cellulaires (donc les cellules de défense de l’organisme) sont plus élevés à J7 par rapport à J0 et qui sont plus nombreuses dans le groupe homéopathie que dans le groupe antibiotique, c’est donc bien que l’homéopathie stimule les défenses de l’organisme. (Le problème, c’est que cette affirmation se contente de constater une différence brute : pas d’analyse statistique sur cette affirmation et pourtant la différence concerne 11 animaux / 60 du groupe homéopathie, 3/60 du groupe placebo et 5/60 du groupe antibiotique. Et le pire c’est que la différence est effectivement significative (p<0,05) !  Pourquoi alors ne pas avoir donné ce résultat dans la partie résultat ? Pourquoi n’avoir pas cette fois-ci, à l’inverse des résultats de cure totale, pris en compte que les animaux avec culture positive et non l’ensemble des animaux ? Avec toujours la difficulté de comparer traitement homéopathique et antibiotique…) 
• s’ajoute le fait que plusieurs fois les auteurs mentionnent des biais qui auraient pu être introduits par les éleveurs habitués à l’usage des antibiotiques ; cependant on peut supposer que ce n’est pas le cas dans l’une des fermes puisqu’elle suit les recommandations de l’agriculture « bio ». Une analyse comparant les fermes aurait pu apporter (ou pas) une réponse sur ce point.

→ Que peut détecter un lecteur n’ayant pas de formation scientifique ni vétérinaire, juste un esprit critique affûté ? La discussion, c’est là où les auteurs commentent leurs résultats et les mettent en perspective par rapport aux données de la science. C’est aussi là où ils sont censés discuter des biais qu’ils auraient repérés. Si on adopte un point de vue Bayésien ici, le niveau de croyance initiale du lecteur va avoir une importance cruciale (tout comme celui du rédacteur). L’absence de résultats tangibles en faveur de l’homéopathie doit amener le curseur de croyance vers un niveau moindre même si les auteurs cherchent à tout faire pour que ce pourcentage ne diminue pas. Ce qui est intéressant, c’est qu’ils ne convoquent pas les biais méthodologiques mais les excuses classiques lorsque les études de pro-homéopathes ne vont pas dans le sens « souhaité ». Si le lecteur connaît ces excuses classiques alors il pourra les repérer, sinon il lui sera plus difficile de percevoir qu’il s’agit d’excuses.

Conclusion (bis repetita placent)

Que nous dit cette étude :

• les mammites à E. coli n’ont pas besoin d’antibiotiques : cela confirme ce qu’on sait déjà
• les mammites d’origine non bactérienne (30% dans cette étude) n’ont pas besoin d’antibiotiques et ceux-ci ne donnent pas de meilleurs résultats que le placebo, même si c’est pas vraiment le placebo de l’antibiotique : cela on le sait déjà et on peut facilement l’expliquer ; les antibiotiques sont là pour tuer les bactéries et s’il n’y a pas de bactéries, ils ne servent à rien.
• les traitements anti-infectieux sont sub-optimaux pour obtenir la guérison bactériologique des mammites et échouent souvent à faire baisser les taux cellulaires à une valeur entièrement satisfaisante, en particulier sur le long terme : cela confirme ce qu’on sait déjà
• l’homéopathie ne donne pas de meilleurs résultats que le placebo : cela confirme le consensus scientifique actuel.

→ Les conditions n’étant pas correctement réunies, on devrait se garder de comparer l’homéopathie avec les antibiotiques… Un moyen plus pertinent pour diminuer leur utilisation et les préserver serait plutôt de ne pas les prescrire lorsque les cultures bactériologiques sont négatives, c’est à dire développer des méthodes de mise en évidence bactériologique rapides facilement abordables !

Le grand nombre d’erreurs méthodologiques interdit de faire une inférence statistique des résultats de cette étude qui ne sont valables que dans les conditions de cette étude. N’utilisons donc pas cette étude comme une preuve majeure de l’inefficacité de l’homéopathie, tout au plus se rajoute-t-elle à la liste déjà bien longue des études échouant à montrer que l’homéopathie fait mieux qu’un placebo. Ainsi la lecture critique d’un article nous permet d’être prudent dans l’utilisation de celui-ci.

* analyse en intention de traiter = les analyses des résultats se font en conservant les animaux dans leur groupe d’origine. Par exemple ici une vache qui aurait appartenu au groupe placebo sans amélioration au bout de 48h reçoit des antibiotiques, elle sera considérée comme appartenant au groupe placebo et non antibiotique. Cette façon de faire suit les bonnes recommandations des essais cliniques traitement contre placebo.

** tirage sans remise = en mathématique on peut réaliser des tirages sans remise et des tirages avec remise. Prenons un exemple qui est assez simple à comprendre. Dans une boîte opaque permettant juste de passer la main sans en distinguer le contenu, on place un mélange de trois groupes de 15 boules seulement différenciables par leur couleur : les rouges (R), les vertes (V) et les blanches (B). Lors d’un tirage « avec remise », après chaque tirage d’une boule, on remet celle-ci dans la boîte. Il est évident qu’à chaque tirage la probabilité de tirer une boule de couleur rouge sera de ⅓. Le problème de ce genre de tirage c’est qu’avec un nombre restreint de tirages possibles (d’animaux à inclure), on a une probabilité non négligeable de tirer au sort des groupes assez différents numériquement (par ex : 8R, 17V, 22B).

Lors de tirage « sans remise » ce problème disparaît puisqu’à chaque tirage on ne remet pas la boule. Par contre, la probabilité de tirage de chaque couleur change en fonction du tirage précédent. Imaginons que les dix premières boules tirées sont RRVBVVRBVR, alors la probabilité de tirer une rouge est de 11/35, une verte de 11/35 et une blanche de 13/35. Imaginons maintenant une série VBBBBBBBBR, alors les probabilités deviennent R 14/35, V 14/35 et B 7/35. Le tirage de chaque boule en fonction de son rang n’est pas équiprobable, la caricature étant que l’aléatoire de la dernière boule est conditionné uniquement par celui de l’ensemble du tirage qui le précède.

On perçoit avec ce dernier exemple que l’un des problèmes par tirage (que ce soit avec remise ou sans remise) est le risque de cohorte, c’est à dire toute une série de même boule (traitements) d’affilée. Il existe des techniques pour contourner ce problème avec des tirages par blocs et autres.

Crédit photo : Wolfgang Ehrecke