Dans la Newsletter de l’OZ n°49 (juillet 2009), Géraldine Fabre, actuelle présidente de l’OZ, fait le compte rendu de tests préliminaires de la « sensation d’être observé ». Fabre dit se baser sur les travaux de Rupert Sheldrake (1998, 2003) et de Wiseman & Schlitz (1997). En réalité, elle propose un nouveau protocole et une analyse des données biaisée. Nous souhaitions donc réagir à ce test préliminaire.
Les travaux de Sheldrake
Comme à l’accoutumée, l’OZ n’effectue qu’une revue de littérature partielle. Certes, il s’agit d’une simple compte-rendu, cependant, nous pensons que cette marque d’amateurisme est incompatible avec la rigueur attendue lors de recherches scientifiques. Réaliser une vraie recherche implique de réaliser une vraie revue de littérature.
Par exemple, Fabre indique que les travaux de Sheldrake « furent critiqués sur le plan méthodologique », ce qui est vrai mais imprécis. Les critiques venant de sceptiques (Marks & Colwell, 2000 ; Shermer, 2005) ont reçu des réponses de Sheldrake montrant leur manque de pertinence (Sheldrake, 2004, 2005). Les résultats d’une méta-analyse indépendante ayant exclu toutes les données issues de tests non supervisés restent hautement significatifs (Schmidt et al., 2004). Ces mêmes sceptiques reprochent à Sheldrake de n’avoir pas bien randomisé ses tests. Or, cet argument a été réfuté par des milliers d’essais avec différentes méthodes de randomisation, comme le choix à pile ou face, menant à des résultats positifs et statistiquement considérables quelle que soit la méthode de randomisation (Sheldrake, 2005).
Fabre avance ensuite la dichotomie suivante :
« Si aujourd’hui la plupart des sceptiques estiment que les preuves avancées dans l’étude de la sensation d’être observé restent insuffisantes pour conclure à son existence, pour la plupart des parapsychologues en revanche, le phénomène est clairement avéré. Face à un enlisement du débat dans des considérations statistiques, il me semble finalement bien difficile de conclure sans de nouvelles expériences irréprochables sur le plan méthodologique. »
Là encore, Fabre décrit de façon erronée le monde académique de la parapsychologie. Il n’y a pas d’un côté des « sceptiques » qui estiment que les preuves ne sont pas suffisantes et de l’autre des « parapsychologues » qui supposent que le phénomène est clairement avéré. Cette opposition est un mythe qui permet aux sceptiques de laisser penser que seul leur discours sur la question est rationnel.
Si Fabre avait effectué une véritable revue de littérature, elle aurait pu constater que de nombreux « parapsychologues » sont sceptiques envers les travaux de Sheldrake et que plusieurs tentatives de réplications ont été des échecs.
Nous ne pouvons qu’une fois de plus déplorer cet amateurisme qui se réclame pourtant d’une approche scientifique. La comparaison entre, d’une part, une publication dans le British Journal of Psychology (Schmidt et al., 2004) ou les débats sur le sujet disponibles dans le Journal of Consciousness Studies (vol. 12, n°6, juin 2005) et, d’autre part, le travail de l’OZ, ne peut que laisser perplexe quant à cette prétention de l’OZ d’apporter un regard rigoureux et objectif sur ces questions.
Le protocole de l’OZ
Fabre (avec Antczak) se propose donc de faire une nouvelle expérience « à la méthodologie irréprochable » pour progresser dans ses conclusions. « Heureusement, écrit-elle, l’expérimentation de cette faculté psi semble relativement simple puisqu’elle ne nécessite pas de sujet doué ». Les sujets seront donc choisis parmi les 30 participants à la 4ème Université d’été de l’OZ.
Neuf expériences ont été réalisées. Pour chaque expérience, deux sujets étaient isolés spatialement avec un expérimentateur. L’un des sujets était filmé par une caméra et l’autre pouvait visionner en direct l’image sur un moniteur. Ce dispositif a été proposé par les parapsychologues car il permet effectivement d’éliminer de nombreux biais sensoriels (Wiseman & Schlitz, 1997).
Or, ce protocole comporte plusieurs failles qu’on peut faire directement découler de l’absence d’une vraie revue de littérature :
→ Effectuer une expérience de parapsychologie avec une audience sceptique ne va pas de soi lorsqu’on connait la littérature actuelle. Les expériences sur l’effet mouton-chèvre ont été reproduites par des laboratoires indépendants et ont conduit à l’un des effets les plus stables obtenus en parapsychologie. A l’heure actuelle, aucune recherche critique n’a pu expliquer cet effet. Quelle que soit l’interprétation que l’on donne à ce résultat, force est de constater que choisir de tels participants est dès le départ un parti pris en faveur de résultats négatifs. Les travaux en psychologie démontrent clairement l’impact des croyances d’un sujet sur ses compétences cognitives. Si de telles capacités psi existent, il est normal qu’elle obéissent au même principe. Même si nous comprenons que, pour l’OZ, il soit plus simple, notamment lors d’un test préliminaire, d’utiliser de tels participants, il faut bien comprendre que toute recherche à prétention scientifique ne peut considérer qu’il s’agit simplement d’une population standard. Il est plus juste de sélectionner explicitement des personnes en fonction de leurs croyances et de leurs expériences paranormales, car le choix d’une population sceptique n’est pas neutre.
→ Des consignes sont placées dans des enveloppes cachetées ouvertes par l’équipe du sujet qui va devoir « observer ». Il y a 20 consignes à la suite (0 : ne pas observer ; 1 : observer) qui ont été randomisées grâce à Excel. Toutefois, l’article ne dit pas s’il y a une symétrie dans les consignes qui a été respectée (10 fois « observer », 10 fois « ne pas observer »). Ce détail est important car l’effet dont parle Sheldrake serait asymétrique : il y aurait une meilleure reconnaissance du fait d’être observé, mais pas de sensibilité à la non observation (Sheldrake, 2003 ; mais voir Sheldrake & Smart, 2008). Le compte rendu de Fabre est trop approximatif pour savoir si les conditions ont été contrebalancées. Il faut que ce point soit explicitement précisé et déterminé au départ.
Les résultats de l’expérience de l’OZ
Voici la présentation des résultats par Fabre :
« Durant le week-end, neuf expériences ont été réalisées. Sur les 20 tests, un résultat supérieur ou égal à 16/20 ou inférieur ou égal à 4/20 aurait été considéré comme extraordinaire (moins de 1% de chance de se produire par hasard). Aucun couple n’y parvint ; la meilleure note fut 13/20, la moins bonne 5/20. Nous n’avons donc pas réussi à mettre en évidence l’existence de la sensation d’être observé. »
→ [Mise à jour 18/12/10] Le seuil utilisé est celui de 1%. Ce seuil n’est pas le seuil standard en psychologie qui est de 5%. Chaque chercheur est bien entendu libre d’utiliser le seuil qu’il veut, par exemple une chance sur un million comme le demande James Randi. Mais, peut-on sérieusement penser une recherche scientifique objective et intègre lorsque l’on voit que les chercheurs choisissent délibérément des seuils scientifiques non standards de façon à éviter d’obtenir un effet ? En fait, si un seuil standard de 5 % est utilisé, les scores seuil deviennent 5/20 et 15/20, ce qui est embêtant parce que la moins bonne note, rapportée par l’OZ, devient significative !
Cela veut-il dire que l’OZ aurait dû conclure au succès de leur expérience ? Non car les zététiciens ont oublié de prendre en compte le fait qu’ils mènent 9 tests statistiques simultanément, augmentant la probabilité d’obtenir des résultats significatifs. Plusieurs méthodes existent pour remédier à ce problème. Une méthode possible (plutôt conservatrice) est la correction de Bonferroni, qui consiste à réduire le seuil statistique en le divisant par le nombre de tests indépendants menés. Notre seuil standard de 0,05 devient donc 0,05/9 = 0,0056. Les membres de l’OZ ont donc eu raison de baisser leur seuil statistique, mais pas pour les bonnes raisons !
→ Le biais majeur dans ce test préliminaire est le mélange entre une approche universaliste et élitiste. Des données de ce type (sujets non-sélectionnés) sont normalement analysées de façon globale : il n y a pas d’analyse statistique de chacun des couples mais de l’ensemble des résultats des couples. Il aurait fallu présenter un résultat moyen pour les 180 essais et la probabilité associée. Les résultats individuels ne sont généralement donnés que pour des analyses complémentaires, dans une recherche élitiste où l’on suppose qu’on obtiendra une taille d’effet individuelle extrêmement forte. Mais nous avons déjà attiré l’attention de l’OZ sur ce problème à plusieurs reprises. Les membres de l’OZ raisonnent avec des tests statistiques correspondant à des puissances statistiques inadaptées. Aucune publication ne montre des tailles d’effets aussi fortes. En clair, en utilisant une telle analyse des résultats, les membres de l’OZ se prémunissent de tout risque d’obtenir un résultat positif ; et ils en sont tout à fait conscients puisque nous leur avons déjà indiqué à plusieurs reprises. Il s’agit donc d’un choix délibéré.
[Mise à jour 18/12/10] Même en analysant les scores globaux, le nombre de tests mené par l’OZ est grandement insuffisant. Sheldrake rapporte un pourcentage de réponses correctes d’environs 53 %. Avec une telle taille d’effet et un seuil unilatéral alpha = 0,05, il faudrait un nombre d’essai minimal N = 1734 pour arriver à une puissance statistique de 0,8. On est très loin des 180 essais de l’OZ, qui ne permettraient de mettre en évidence un effet de la taille de celui de Sheldrake qu’avec une probabilité de 0,18 (autrement dit, il faudrait de la chance).
→ La randomisation semble bonne, et la communication entre les équipes est réduite à un bip de talkie-walkie. Les consignes données aux sujets correspondaient par ailleurs aux recommandations des parapsychologues. Toutefois, il ne s’agit pas d’une réplication d’expériences antérieures mais bien d’un nouveau protocole n’ayant pas fait ses preuves. En effet, le protocole utilisant une caméra et une télévision (protocole en circuit fermé) a toujours impliqué, à notre connaissance, la mesure physiologique de la réponse galvanique des sujets (par exemple, Wiseman & Schlitz, 1997). On ne leur demande pas s’ils étaient observés ou non. En revanche, dans le protocole n’impliquant pas de vidéos (protocole en observation directe), on demande aux sujets de dire, dans un délai habituellement de dix secondes, s’ils se sentent observés ou pas (mesure comportementale, par exemple dans Sheldrake, 1998). Or, le protocole de Fabre implique une mesure comportementale pour un protocole en circuit fermé, ce qui constitue une innovation. Comme on le voit par exemple par les deux méta-analyses de Schmidt et al. (2004), il pourrait s’agir de deux effets différents impliquant des théorisations différentes. Pour tester la sensation d’être observé, il aurait été plus sage de reproduire l’une ou l’autre des expériences plutôt que d’inventer un nouveau protocole.
Conclusion
Nous attirons l’attention de nos lecteurs sur le fait que ces façons de faire ne sont pas scientifiques. Elles ne visent pas réellement à tester une hypothèse, dans la continuité de recherches déjà effectuées et dans le but de faire avancer la science. Les choix faits par l’OZ dans ces tests préliminaires sont en opposition avec les recommandations données par des chercheurs parapsychologues et sceptiques dans des revues de psychologie et de statistiques.
Un tel choix méthodologique serait donc orienté de façon idéologique de façon à éviter d’obtenir un résultat positif. Cela nous paraît d’autant plus grave de la part d’un organisme qui prétend défendre la méthodologie scientifique.
Nous avons proposé à l’Observatoire Zététique notre aide pour la conception de protocoles et la discussion de recherches depuis le 9 novembre 2007. L’OZ a décliné notre proposition (voir ici). Géraldine Fabre nous avait sollicité, en son nom, au mois de février 2008, pour qu’une telle collaboration puisse se mettre en place afin de tester la sensation d’être observé, mais elle n’a pas donné suite.
Les conséquences sont que, à nouveau (après les protocoles sur le magnétisme et la radiesthésie), l’OZ met en place des expériences qui ne sont pas rigoureuses sur le plan scientifique et qui prétendent pourtant tester les phénomènes psi.
Néanmoins, s’agissant de tests préliminaires publiés dans une « newsletter », nous pensons qu’il n’est pas trop tard et nous espérons que les membres de l’OZ prendront en compte nos remarques et feront ainsi une expérience qui pourra s’approcher de ce qu’on attend d’un travail à prétentions scientifiques.
Références
Marks, D.F., & Colwell, J. (2000). The Psychic Staring Effect : An Artifact of Pseudo Randomization. Skeptical Inquirer, September/October 2000.
Schmidt, S. (2001). Empirische Testung der Theorie dermorphischen Resonanz :Könnenwir entdecken wenn wir angeblikt werden ? Forschende Komplentärmedizin, 8, 48-50.
Schmidt, S. (2002). Außergewöhnliche Kommunikation ? Eine kritische Evaluation des parapsychologischen Standardexperimentes zur direkten mentalen Interaktion. Oldenburg : BIS.
Schmidt, S., Schneider, R., Utts, J. and Walach, H. (2004). Distant intentionality and the feeling of being stared at : Two meta-analyses. British Journal of Psychology, 95, 235-247.
Sheldrake, R. (1998), ‘The sense of being stared at : Experiments in schools’, Journal of the Society for Psychical Research, 62, pp. 311-23.
Sheldrake, R., Abraham, R., & McKenna, T. (2003). The Sense of Being Stared At : and other aspects of the extended mind. New York, NY : Crown Publishers.
Sheldrake, R. (2004). The Need For Open-Minded Scepticism : A Reply to David Marks. The Skeptic, 16(4):8-13.
Sheldrake, R. (2005). Reply to Michael Shermer : Do Skeptics Play Fair ? Letter to Scientific American, November 2005.
Sheldrake, R., & Smart, P. (2008). Investigating Scopaesthesia : Attentional Transitions, Controls and Error Rates in Repeated Tests. Journal of Scientific Exploration, 22(4), 517-527.
Shermer, M. (2005). Rupert’s Resonance : The theory of « morphic resonance » posits that people have a sense of when they are being stared at. What does the research show ? Scientific American, October, 2005.
Wiseman, R., & Schlitz, M (1997). Experimenter effects and the remote detection of staring. Journal of Parapsychology, 61(3), 197-207.