LES SCEPTIQUES DU QUÉBEC

Dictionnaire

Paralogisme de la valeur prédictive

De nombreux chercheurs partent de l'idée fausse que la valeur prédictive représente
la probabilité que les résultats de leur étude ne soient dus qu'au hasard.
Regina Nuzzo
 

« Erreur consistant à penser qu'un seul nombre peut correspondre à la fois aux résultats à long terme d'une expérience et à la valeur probante d'un seul résultat  » (Goodman, 1999). Beaucoup croient à tort qu'une valeur prédictive de 0,05 signifie qu'il y a 5 % de chances que l'hypothèse nulle soit vraie. Une valeur prédictive de 0,05 signifie plutôt que si l'hypothèse nulle est vraie, elle sera rejetée dans 5 % des essais sur une longue période. Par conséquent, la valeur prédictive d'un seul essai ne donne pas de preuve concluante qu'une hypothèse est correcte. Il faut de nombreux essais avant de pouvoir affirmer avec confiance que l'hypothèse nulle est vraie ou fausse.

En février 2015, les rédacteurs en chef du journal scientifique Basic and Applied Social Psychology ont annoncé que les chercheurs soumettant leurs études à des fins de publication ne pourraient plus employer la valeur prédictive. Selon le biostatisticien Jeff Leek, de l'Université Johns Hopkins, « la valeur prédictive est la plus connue des statistiques ». Il estime qu'on l'a utilisée dans au moins trois millions d'articles scientifiques. La valeur prédictive est sans doute très populaire, mais elle est surtout mal comprise, et on la voit comme plus probante qu'elle ne l'est en réalité.

Bien des chercheurs partent de la croyance erronée que la valeur prédictive donne la probabilité que leurs résultats soient simplement aléatoires, mais les statisticiens disent plutôt que l'information qu'elle représente est beaucoup moins spécifique, et peut s'interpréter uniquement dans le contexte de scénarios hypothétiques possibles: « La valeur prédictive résume la fréquence à laquelle des résultats au moins aussi extrêmes que ceux qu'on a observés se produiraient si les essais étaient répétés à l'infini dans un contexte où seul le hasard serait à l'œuvre ».
 
Autrement dit, la valeur prédictive porte sur des données imaginaires dans le cadre d'une hypothétique étude réitérée; il ne s'agit pas de conclusions réelles sur une étude donnée. Au lieu de constituer un « détecteur de mensonges scientifique » capable d'établir la véracité d'une conclusion scientifique précise, la valeur prédictive représente davantage un « créateur de réalités parallèles » permettant aux chercheurs de comparer leurs résultats avec ceux que le seul hasard pourrait produire en théorie.*

Qu'est-ce que tout cela veut dire pour ces millions d'études dont les conclusions grandioses se fondent sur l'idée que la valeur prédictive donne une mesure valide de la probabilité qu'une hypothèse soit vraie? Que bien des rapports publiés dans de prestigieux journaux scientifiques à comité d'évaluation renferment - pour reprendre les termes du psychologue Eric-Jan Wagenmakers de l'Université d'Amsterdam - « d'injustifiables sornettes ».

Dernière mise à jour le 24 août 2019.

Source: Skeptic's Dictionary