En science, il arrive bien souvent que les r\u00e9sultats soient contradictoires.<\/p>\n\n\n\n
La plausibilit\u00e9 d’une hypoth\u00e8se ne se fait qu’en analysant l\u2019enti\u00e8ret\u00e9 des connaissances acquises sur un sujet. Ne se fier qu’\u00e0 une seule \u00e9tude est \u00e0 l’origine du biais de confirmation.<\/p>\n\n\n\n
Les m\u00e9ta-analyses regroupent toutes les connaissances pr\u00e9sentes sur un sujet selon certains crit\u00e8res d’inclusion, elles permettent ainsi d’augmenter la puissance statistique.<\/p>\n\n\n\n
Ainsi en comptabilisant le nombre d’essais positifs par rapport au nombre d’essais n\u00e9gatifs (et \u00e9ventuellement en pond\u00e9rant selon la cr\u00e9dence respective des uns et des autres) on peut savoir si l’hypoth\u00e8se \u00e9mise est cr\u00e9dible ou non.<\/p>\n\n\n\n
Si une hypoth\u00e8se est fausse on devrait s’attendre \u00e0 avoir moins de 5 % des essais positifs<\/a> (risque d’erreur de consid\u00e9rer des donn\u00e9es significatives alors que c\u2019est d\u00fb au hasard en m\u00e9decine = p-value).<\/p>\n\n\n\n Cependant il reste encore, entre autres, un biais particuli\u00e8rement important \u00e0 estimer pour avoir une vision claire de la situation : c’est le biais de publication ou biais du tiroir.<\/p>\n\n\n\n Les \u00e9tudes n\u00e9gatives sont rarement publi\u00e9es car soit les chercheurs les remettent dans leur tiroir (d\u2019o\u00f9 ce nom de biais du tiroir) soit c’est les journaux qui les rejettent et ils passent \u00e0 la trappe.<\/p>\n\n\n\n Qui s’int\u00e9resse \u00e0 savoir que nous n\u2019avons pas pu d\u00e9montrer une corr\u00e9lation entre l’ad\u00e9nocarcinome de la langue et la consommation de carottes chez le lapin Angora ? Personne.<\/p>\n\n\n\n Pour autant ce biais n’a pas que des d\u00e9savantages, il limite la masse des publications.<\/p>\n\n\n\n Cette premi\u00e8re s\u00e9lection est partiale et il est n\u00e9cessaire d’en prendre compte pour ne pas avoir une mauvaise appr\u00e9ciation de la situation.<\/p>\n\n\n\n Le biais du tiroir est donc \u00e0 l’origine d’une surrepr\u00e9sentation des essais positifs, il est pr\u00e9sent dans la recherche m\u00e9dicale et varie d’un domaine \u00e0 l’autre ce qui le rend compliqu\u00e9 \u00e0 estimer.<\/p>\n\n\n\n C’est d\u2019ailleurs probablement l’un des biais le plus sujet \u00e0 discussion et \u00e0 controverse entre les diff\u00e9rents partis en pr\u00e9sence, notamment entre les sceptiques et les tenants des pseudo m\u00e9decines.<\/p>\n\n\n\n Il s’agit d’un biais statistique correspondant peu ou proue au biais du survivant (erreur sur la fr\u00e9quence de base). C\u2019est une sur\u00e9valuation des succ\u00e8s par omission des \u00e9checs.<\/p>\n\n\n\n Mais comment calculer quelque chose alors que nous n’avons pas tous les \u00e9l\u00e9ments en main (le nombre total d’\u00e9tudes r\u00e9alis\u00e9es sur un sujet) ?<\/p>\n\n\n\n Il va falloir estimer le nombre d’essais n\u00e9gatifs selon diff\u00e9rents crit\u00e8res (statistique conditionnelle).<\/p>\n\n\n\n Quand on cherche, on commence par fouiller par ci par l\u00e0 (on met en place des protocoles pas trop chers, on analyse des r\u00e9sultats) et un jour les donn\u00e9es<\/em> r\u00e9pondent positivement.<\/p>\n\n\n\n \u00ab \u00c7a confirme ce que je pense ! \u00bb, g\u00e9n\u00e9ralement c’est le premier r\u00e9flexe, puis arrive la phase de temp\u00e9rance : \u00ab bon, maintenant on peut mettre les moyens pour avoir des preuves solides (et avec notre petite \u00e9tude \u00e7a permettra de trouver les fonds n\u00e9cessaires) parce que l\u00e0 je m’emballe peut \u00eatre un peu vite, il y a pas mal de chance que mon r\u00e9sultat soit d\u00fb au hasard. \u00bb<\/p>\n\n\n\n Et c’est l\u00e0 que les chemins bifurquent : le tenant de la pseudoscience change de protocole, fait d’autres essais aussi peu fiables qui n’ont rien \u00e0 voir avec le premier en esp\u00e9rant avoir un jour un r\u00e9sultat positif qu’il re-publiera (essayant ainsi, dans une d\u00e9marche fr\u00e9quentiste, de faire pencher la balance de son c\u00f4t\u00e9 : il y a plus de r\u00e9sultats positifs que de n\u00e9gatifs) tandis que le chercheur va aller de l’avant en r\u00e9p\u00e9tant son exp\u00e9rience pourrie avec moins de biais, moins de bruit, plus de donn\u00e9es, un risque d’erreur plus faible pour confirmer son premier r\u00e9sultat et ce sera le d\u00e9but d’un long processus de d\u00e9monstration (par infirmation cette fois) que son hypoth\u00e8se est vraie et g\u00e9n\u00e9ralisable.<\/p>\n\n\n\n Nos erreurs de jugement (pr\u00e9dictif ou \u00e9valuatif) sont dus \u00e0 la combinaison des biais et des bruits (erreur quadratique moyenne des deux) et il est indispensable, si ce n’est de les ma\u00eetriser dans la mesure du possible, d’au moins les conna\u00eetre pour pond\u00e9rer notre jugement.<\/p>\n\n\n\n Les biais entra\u00eenent un d\u00e9calage par rapport \u00e0 la r\u00e9alit\u00e9 tandis que les bruits entra\u00eenent de l’incertitude.<\/p>\n\n\n\n Les biais m\u00e9thodologiques engendrent donc des r\u00e9sultats pr\u00e9dictibles mais faux (d\u00e9viation) tandis que les bruits engendrent des r\u00e9sultats stochastiques donc impr\u00e9dictibles (dispersion).<\/p>\n\n\n\n L\u2019estimation du biais de publication se fait essentiellement en estimant le bruit (absence de concordance) entre les diff\u00e9rents essais mais aussi entre ceux des diff\u00e9rents laboratoires et les fluctuations dans le temps.<\/p>\n\n\n\n Il est quasiment impossible de mesurer \u00e0 partir d\u2019un r\u00e9sultat singulier un biais. Seule l\u2019analyse de la m\u00e9thodologie appliqu\u00e9e pour obtenir celui-ci (qui elle n\u2019est pas singuli\u00e8re) permet d\u2019estimer la cr\u00e9dence que l\u2019on peut porter \u00e0 ce r\u00e9sultat (c\u2019est une estimation des potentiels biais). <\/p>\n\n\n\n Ainsi la taille de l’\u00e9chantillon (N) a une influence importante sur l’\u00e9cart type (marge d’erreur) mais peut aussi engendrer plus facilement des biais de population (influence sur la r\u00e9partition lors de la randomisation).<\/p>\n\n\n\n Les crit\u00e8res d\u2019inclusion des m\u00e9ta-analyses devraient normalement \u00e9viter de prendre en compte les essais trop biais\u00e9s mais parfois celles-ci, faute d\u2019\u00e9tudes suffisamment valables, sont moins restrictives. Leur conclusion doit dans ce cas faire preuve de temp\u00e9rance.\u2019 <\/p>\n\n\n\n C\u2019est le cas assez souvent en m\u00e9decine v\u00e9t\u00e9rinaire (faute de grives on mange des merles) Au contraire la surrepr\u00e9sentation inhabituelle d\u2019essais \u00e0 la m\u00e9thodologie de pi\u00e8tre qualit\u00e9 <\/a>(pas de double aveugle par exemple ou d\u2019essais avec des \u00e9chantillons restreints) est un crit\u00e8re p\u00e9joratif qui laisse \u00e0 penser que ceux qui publient essayent artificiellement de gonfler la proportion d\u2019essais positifs sur le total des essais pour ensuite les publier plus r\u00e9guli\u00e8rement<\/a> mais n\u2019a pas \u00e0 priori de rapport r\u00e9el avec le biais de publication mis \u00e0 part qu\u2019il augmente artificiellement la fr\u00e9quence de publication des essais positifs et modifie potentiellement la fr\u00e9quence de base.<\/p>\n\n\n\n Le p-hacking est une technique assez simple pour gonfler les \u00e9tudes positives. Elle consiste \u00e0 faire une analyse avec de nombreuses donn\u00e9es et ne publier que les crit\u00e8res positifs ou de faire de l\u2019analyse r\u00e9trospective des donn\u00e9es et ne s\u00e9lectionner que les groupes de donn\u00e9es positives. C\u2019est un biais de s\u00e9lection des donn\u00e9es. G\u00e9n\u00e9ralement le risque d’erreur admis (consid\u00e9rer des donn\u00e9s significatives alors qu’elles ne le sont pas) est de 5 %. Une \u00e9tude positive sur 20 est donc potentiellement un faux positif. Si l’\u00e9tude est r\u00e9pliqu\u00e9e alors ce taux diminue drastiquement.<\/p>\n\n\n\n Le p-hacking peut \u00eatre d\u00e9tect\u00e9 assez facilement en r\u00e9p\u00e9tant les \u00e9tudes (r\u00e9plication \u00e0 l\u2019identique)..<\/p>\n\n\n\n Un r\u00e9sultat surprenant est donc souvent assez vite r\u00e9pliqu\u00e9 par les autres \u00e9quipes, \u00e0 l’identique (pour confirmer ou infirmer celui-ci) puis conceptuellement (pour \u00e9ventuellement d\u00e9tecter des variables de confusion responsables de biais).<\/p>\n\n\n\n Cependant apr\u00e8s plusieurs r\u00e9plications infructueuses, la plupart des chercheurs jettent l’\u00e9ponge quand ils voient r\u00e9appara\u00eetre des r\u00e9sultats d\u2019autres essais qui manifestement ne sont pas r\u00e9plicables : leur temps est pr\u00e9cieux et les essais cliniques on\u00e9reux.<\/p>\n\n\n\n Apr\u00e8s plusieurs \u00e9checs, les r\u00e9plications disparaissent et seuls restent des essais positifs publi\u00e9s r\u00e9guli\u00e8rement mais non r\u00e9pliqu\u00e9s. Quand un effet est r\u00e9el on peut s\u2019attendre \u00e0 ce que les essais positifs soient rapproch\u00e9s. Lorsqu’un laboratoire tente co\u00fbte que co\u00fbte \u00e0 prouver que son hypoth\u00e8se est vraie, il encha\u00eene les essais et ne publie que ceux positifs. Il y a donc une dispersion dans le temps. Il faut aussi pond\u00e9rer la fr\u00e9quence d\u2019apparition en fonction de la qualit\u00e9 intrins\u00e8que des essais pris en compte. Au plus il y aura de biais dans les essais au plus la fr\u00e9quence de publication des essais positifs sera importante.<\/p>\n\n\n\n La science se pratique au pluriel. L\u00e0 encore le fait qu’un seul ou tr\u00e8s peu de laboratoires publient sur le sujet est plut\u00f4t p\u00e9joratif (les autres ont probablement abandonn\u00e9 faute de r\u00e9sultats probants).<\/p>\n\n\n\n Mais quand en plus ces laboratoires ont des points de vue diam\u00e9tralement oppos\u00e9s cel\u00e0 doit susciter notre m\u00e9fiance.<\/p>\n\n\n\n Faites 1000 \u00e9tudes avec une p-value de 5 %, en moyenne 50 reviendront positives mais si vous diminuez la p-value \u00e0 1 % alors seules 10 en moyenne reviendront positives et ainsi de suite. <\/p>\n\n\n\n Regarder la r\u00e9partition des \u00e9tudes selon leur p-value respectives (risques d\u2019erreur) est un indicateur possible de la pr\u00e9sence d\u2019un biais du tiroir. Pour des \u00e9tudes \u00e9quivalentes avoir de fortes variations de taille d\u2019effet (pourcentage de concordance faible) indique la pr\u00e9sence de bruit important et permet d’estimer si les r\u00e9sultats sont al\u00e9atoires ou non.<\/p>\n\n\n\n Cel\u00e0 tend \u00e0 d\u00e9montrer le caract\u00e8re stochastique des donn\u00e9es, l\u00e0 encore c’est un crit\u00e8re p\u00e9joratif. Le pourcentage de concordance entre les diff\u00e9rentes \u00e9tudes permet d’estimer si les r\u00e9sultats sont al\u00e9atoires ou non.<\/p>\n\n\n\n C\u2019est le cumul de tous ces crit\u00e8res qui permet d\u2019estimer au mieux le biais du tiroir. A travers une analyse dynamique de la bibliographie qui permet d\u2019ajuster sa cr\u00e9dence envers telle ou telle hypoth\u00e8se.<\/p>\n\n\n\n Nous avons essay\u00e9 de voir comment juger l\u2019existence d\u2019un biais de publication mais le mieux serait encore d\u2019emp\u00eacher les acteurs r\u00e9alisant les \u00e9tudes m\u00e9dicales de les cr\u00e9er. 1 Kahneman, D. Sibony, O. Sunstein, C.R. (2021) Noise, a flaw in human judgment<\/em><\/a><\/p>\n\n\n\n 2 Vyse, S. (2017). P-hacker confessions: Daryl Bem and me. Skeptical inquirer<\/em>, 41<\/em>(5), 25-27<\/a><\/p>\n\n\n\n 3 Yong, E. Replication studies Bad copy. Nature<\/em> 2012, 485, 298\u2013300<\/a><\/p>\n\n\n\n 4 Ross, J.S.; Madigan, D.; Hill, K.P.; Egilman, D.S.; Wang, Y.; Krumholz, H.M. Pooled analysis of rofecoxib placebo-controlled clinical trial data lessons for postmarket pharmaceutical safety surveillance. Arch.Intern. Med.<\/em> 2009, 169<\/em>, 1976\u2013198<\/a>. DOI : 10.1001\/archinternmed.2009.394<\/a><\/p>\n\n\n\n 5 Song F, Parekh S, Hooper L, Loke YK, Ryder J. Dissemination and publication of research findings : an updated review of related biases. Health Technol Assess<\/em> 2010;14(8)<\/a> DOI : https:\/\/doi.org\/10.3310\/hta14080<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" En science, il arrive bien souvent que les r\u00e9sultats soient contradictoires. La plausibilit\u00e9 d’une hypoth\u00e8se ne se fait qu’en analysant l\u2019enti\u00e8ret\u00e9 des connaissances acquises sur un sujet. Ne se fier qu’\u00e0 une seule \u00e9tude est \u00e0 l’origine du biais de confirmation. Les m\u00e9ta-analyses regroupent toutes les connaissances pr\u00e9sentes sur un sujet selon certains crit\u00e8res d’inclusion,…<\/p>\n","protected":false},"author":3,"featured_media":3149,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"iawp_total_views":29,"footnotes":""},"categories":[97],"tags":[73,164,162,163,165],"class_list":["post-3107","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-pedagogie","tag-biais","tag-bruit","tag-methodologie","tag-publication","tag-tiroir"],"yoast_head":"\nA\/ Une situation contrast\u00e9e<\/h2>\n\n\n\n
B\/ Des essais h\u00e9t\u00e9rog\u00e8nes<\/h2>\n\n\n\n
1, Une surrepr\u00e9sentation inhabituelle d’essais potentiellement biais\u00e9s<\/h3>\n\n\n\n
Les tenants de pseudo m\u00e9decines multiplient les essais potentiellement biais\u00e9s, cel\u00e0 permet d\u2019augmenter le taux de faux positifs mais en aucun ne devrait influer sur la cr\u00e9dence que nous avons envers notre hypoth\u00e8se.<\/p>\n\n\n\n2, Une surrepr\u00e9sentation d’essais non r\u00e9pliqu\u00e9s<\/h3>\n\n\n\n
Cette technique fut \u00e0 l\u2019origine d\u2019une publication rocambolesque sur la pr\u00e9cognition (l\u2019affaire Daryl Bem). Ce c\u00e9l\u00e8bre psychologue tenant de l\u2019existence du \u201cpsi\u201d (capacit\u00e9 psychique surnaturelle) avait r\u00e9alis\u00e9 une \u00e9tude sur la pr\u00e9cognition (capacit\u00e9 \u00e0 lire l\u2019avenir). Les exp\u00e9rimentateurs devaient essayer de deviner si une image allait ou non appara\u00eetre sur un \u00e9cran vierge. Il s\u2019est av\u00e9r\u00e9 que les donn\u00e9es furent significatives uniquement pour les images \u00e0 caract\u00e8re \u00e9rotique !
Moins amusant, le p-hacking est aussi \u00e0 l\u2019origine du scandale du Vioxx responsable de 40 000 morts, le laboratoire Merck n\u2019ayant publi\u00e9 que les donn\u00e9es positives.<\/p>\n\n\n\n
Ce basculement est pernicieux mais il est tout \u00e0 fait estimable en faisant une analyse chronologique des essais : un taux de positivit\u00e9 des essais inversement proportionnel au taux de r\u00e9plication est un crit\u00e8re p\u00e9joratif.
De m\u00eame une sur-pr\u00e9sentation d\u2019essais avec tr\u00e8s peu de crit\u00e8res analys\u00e9s est potentiellement p\u00e9jorative (suspicion de p-hacking).
<\/p>\n\n\n\n3, dispersion et non homog\u00e9n\u00e9it\u00e9 dans le temps<\/h3>\n\n\n\n
On peut aussi s\u2019attendre \u00e0 ce que la proportion entre essais positifs et essais n\u00e9gatifs soit assez stable dans le temps, l\u00e0 encore des variations importantes sont un crit\u00e8re p\u00e9joratif.<\/p>\n\n\n\n4, Des r\u00e9sultats variables d\u2019un laboratoire \u00e0 l\u2019autre<\/h3>\n\n\n\n
C\/ Des donn\u00e9es h\u00e9t\u00e9rog\u00e8nes<\/h2>\n\n\n\n
1, Une surrepr\u00e9sentation d’essais avec des donn\u00e9es ayant un risque d\u2019erreur important<\/h3>\n\n\n\n
<\/p>\n\n\n\n2, Des tailles d’effet h\u00e9t\u00e9rog\u00e8nes<\/h3>\n\n\n\n
Conclusion<\/h2>\n\n\n\n
L\u00e0 encore la situation est in\u00e9gale, apr\u00e8s chaque scandale (dont notamment celui du Vioxx) le l\u00e9gislateur s\u2019est pench\u00e9 sur les possibles sources d\u2019erreurs et de fraudes dans l\u2019industrie pharmaceutique et a renforc\u00e9 les mesures pour \u00e9viter ce ph\u00e9nom\u00e8ne (d\u00e9claration et autorisation au pr\u00e9alable des essais cliniques, analyse des donn\u00e9es brutes par une organisation ind\u00e9pendante, etc.). Ainsi les proc\u00e9dures d\u2019autorisation de mise sur le march\u00e9 des m\u00e9dicaments se sont renforc\u00e9es au fil des ans (d\u00e9claration de Taipei).
En ce qui concerne la recherche clinique (non pharmaceutique) l\u00e0 encore le l\u00e9gislateur a adapt\u00e9 son discours au fur et \u00e0 mesure du temps, tant au niveau international qu\u2019au niveau national (loi Huriet-S\u00e9ruscliat) afin d\u2019\u00e9viter au mieux le biais du tiroir.
Pour la recherche param\u00e9dicale, le l\u00e9gislateur est bien plus cl\u00e9ment ce qui explique la pr\u00e9sence encore importante du biais de publication.
<\/p>\n\n\n\n