Le projet Many Labs 4 (ML4 ; Klein et al., 2022), une vaste étude internationale de réplication dont le protocole avait été préenregistré, n'a pas réussi à reproduire un résultat classique de la psychologie sociale : l'effet de saillance de la mortalité, selon lequel le fait de rappeler aux individus leur propre mort peut modifier leurs attitudes et leurs jugements.
Pour mieux comprendre cet échec, nous avons réexaminé les données du projet en nous demandant si la qualité des données recueillies pouvait varier selon la taille des échantillons. Nous avons constaté que les quatre laboratoires n'ayant pas atteint l'objectif minimal de 80 participants présentaient plus de trois fois plus de données manquantes sur la mesure principale que les autres laboratoires. De plus, les laboratoires présentant davantage de données manquantes obtenaient généralement des effets de saillance de la mortalité plus faibles.
Lorsque nous avons exclu ces quatre petits échantillons, l'effet de saillance de la mortalité est redevenu positif et statistiquement significatif avec chacune des trois procédures de sélection des participants préenregistrées dans ML4. Une analyse bayésienne explorant de nombreuses spécifications statistiques a également apporté des résultats favorables à l'existence de l'effet, quelles que soient les procédures de sélection et les cinq distributions a priori examinées.
Ces résultats suggèrent que les différences de qualité des données entre laboratoires pourraient avoir contribué à l'échec de réplication de ML4. Les méta-analyses accordent déjà moins de poids aux études de petite taille pour tenir compte de leur moindre précision statistique, mais cette correction ne suffit pas à compenser d'éventuelles différences de qualité des données. La leçon est simple : pour réussir les grandes études de réplication, il ne suffit pas de recueillir davantage de données. Il faut aussi recueillir de meilleures données.
Mots-clés : Réplication scientifique · Qualité des données · Many Labs 4 · Saillance de la mortalité · Méta-analyse · Psychologie sociale