Le 14 juillet 2010, l’Observatoire Zététique (OZ) a monté une expérience testant un sourcier, sous les caméras de TF1 [1]. Si l’expérience, d’après le rapport succinct de la POZ, semble globalement de bonne qualité, certains choix dans la procédure sont injustifiés.
Une expérience en marge de la science ?
Monsieur C. a contacté l’OZ afin que « sa capacité à trouver de l’eau avec des baguettes de sourcier » soit testée. D’après la POZ, le protocole expérimental a été longuement discuté avec le radiesthésiste de manière à « rester au plus proche de [sa] pratique habituelle. » Il n’est pas précisé si une revue de la littérature scientifique sur le sujet a été menée en parallèle, afin de voir si un dispositif similaire avait déjà été utilisé, avec quels résultats, quelles difficultés, etc. La revue de littérature fait partie intégrante du processus d’investigation scientifique, la science étant un processus d’accumulation de connaissances. Les travaux scientifiques sont publiés dans des revues pour que d’autres chercheurs puissent s’en servir et les prendre en compte dans leurs propres travaux. En l’occurrence, de nombreux travaux ont porté sur la radiesthésie (voir par exemple les revues [2] ou [3]). Monter une expérience en ignorant les recherches antérieures sur le même sujet revient à monter une expérience en marge de la science, et augmente le risque d’investigation inadéquate, anachronique, ou sans intérêt.
Des précautions adéquates mais trop peu d’essais
Notons que le protocole de l’OZ contient les précautions nécessaires à une expérience de qualité, en particulier l’utilisation du double-aveugle et la randomisation des essais (bien que le tirage ait été effectué avec un dé à 4 faces, peu pratique). L’utilisation d’essais à blanc pour tester la procédure est aussi une bonne chose. Cependant, l’article est confus concernant le rôle des équipes expérimentales. Quatre équipes sont mentionnées, mais seulement trois y sont explicitement décrites (randomisation, préparation et test). Problème plus sérieux : le nombre d’essais réalisés (N = 30) est petit, et ne pourrait permettre de mettre en évidence un effet faible. Si le sourcier affirme pouvoir détecter sans faute le tuyau cible, la littérature scientifique suggère que dans des conditions similaires à l’expérience menée par l’OZ, le résultat sera probablement faible et instable [2,4]. Le nombre de 30 essais de l’OZ est à contraster par exemple aux 900 essais réalisés lors d’une expérience similaire [4, experiment type I] avec des sujets sélectionnés. Même avec un tel nombre d’essais, l’interprétation des résultats a fait l’objet de débats [5,6,7]. Une analyse de la littérature aurait permis de mettre ce problème de puissance statistique en évidence.
Un critère statistique injustifié
En sciences expérimentales, et en particulier en psychologie expérimentale, le seuil typiquement utilisé est p = 0,05(*). Or, l’OZ choisit, sans justification, un seuil non-standard p = 0,01. Non seulement le nombre d’essais est faible, mais le nombre de réponses correctes requises pour rejeter l’hypothèse nulle est arbitrairement augmenté : un seuil p = 0,01 correspond à un minimum de 14 réponses (p = 0,008), alors qu’un seuil p = 0,05 correspond à un minimum de 13 réponses (p = 0,022)(**). Le faible nombre d’essais, ainsi qu’un seuil statistique injustement élevé augmentent considérablement le risque d’erreur de type II (***), ce qui est bien sûr problématique.
Un résultat peu commenté
Pour conclure, l’auteur de l’article qualifie l’expérience « d’échec », puisque « la capacité de Monsieur C. n’a pas été mise en évidence », sans plus de commentaires. Le résultat de 10/30 essais réussis correspond à une probabilité p = 0,197, taille d’effet g = 0,0833. Le résultat est non significatif, mais l’expérience n’est pas un « échec » : elle ne permet simplement pas de rejeter l’hypothèse nulle. Encore une fois, ce résultat était prédictible au vu du nombre d’essais. Une discussion sur les causes et conséquences des résultats aurait été bienvenue, ainsi qu’une réflexion sur la pertinence du dispositif expérimental utilisé pour tester la capacité du sourcier, au vu de la littérature scientifique. Le présent article devrait cependant aider l’OZ à rédiger le paragraphe discussion et interprétation des résultats de leur rapport d’expérience.
Conclusion
Cette nouvelle expérience témoigne d’un effort méthodologique de la part de l’OZ. Le résultat obtenu permet en effet de rejeter l’affirmation du sourcier selon laquelle ses baguettes « ne lui mentent jamais », sans cependant plus d’intérêt scientifique. Le faible nombre d’essais et le critère statistique anormalement élevé n’auraient pu mettre en évidence un effet faible et instable tel qu’il est rapporté dans la littérature [2,4].
En refusant de prendre en compte la littérature scientifique, l’OZ perpétue la tradition des groupes sceptiques se complaisant dans l’amateurisme. Nous prenons note des efforts méthodologiques, mais conseillons une nouvelle fois à l’OZ de prendre en compte les recherches scientifiques antérieures pour leurs prochaines expériences.
Notes :
Les calculs ont été réalisés avec Matlab 7.6 et G*Power 3.0.10
(*) La valeur p correspond à la probabilité qu’un score égal ou supérieur à celui obtenu lors de l’expérience soit dû au hasard. Si cette probabilité est faible, l’hypothèse nulle est rejetée, c’est-à-dire que l’on considère que quelque chose d’autre que le hasard explique le résultat obtenu.
(**) Notons que ce seuil de 13 réponses est lui-même assez conservateur. On pourrait soutenir qu’un seuil de 12 réponses (p = 0,051) serait acceptable. Notons aussi la grande sensibilité de la valeur p au nombre de succès p(succès 11) = 0,106 ; p(succès 13) = 0,022, conséquence du faible nombre d’essais.
(***) Une erreur est dite du type II lorsque que l’hypothèse nulle n’est pas rejetée alors qu’elle devrait l’être.
Références :
[1] Géraldine Fabre, Test d’un radiesthésiste à Aix-en-Provence sous l’œil des caméras de TF1, la POZ, n°60, 29 Juillet 2010,
[2] Hansen, G.P. (1982). Dowsing : A Review of experimental research. Journal of the Society for Psychical Research, 51(792), 343-367.
[3] Wilcock, J. (1994). The use of dowsing for the location of caves, with some results from the first Royal Forest of Dean Caving Symposium, June 1994, URL : http://www-sop.inria.fr/agos/sis/dowsing/dowsdean.html
[4] Betz, H.-S. (1995). Unconventional Water Detection : Field Test of the Dowsing Technique in Dry Zones : Part 2. Journal of Scientific Exploration, 9(2), 159-189.
[5] Enright, J.T. (1995). Water Dowsing : The « Scheunen » Experiments. Naturwissenschaften, 82, 360, URL : http://www.phact.org/e/dowsing.htm
[6] Betz, H.-D., Kulzer, R., König, H.L., Tritschler, J., Wagner, H. (1996). H. Wagner, Dowsing Reviewed – the Effect Persists, Naturwissenschaften, 83, 272-275.
[7] Enright, J.Y. (1996). Dowsers Lost in a Barn. Naturwissenschaften, 83, 275-277.