Il y a approximativement vingt ans, une prise de conscience à l’échelle de la communauté a émergé concernant la crédibilité de la littérature publiée dans les sciences sociales et comportementales, en particulier en psychologie. Plusieurs études à grande échelle ont tenté de reproduire des résultats publiés précédemment, en vain ou dans une ampleur bien moindre, remettant en issue la crédibilité des résultats – et des études futures en sciences sociales et comportementales.
Cependant, une poignée d’experts de haut niveau dans le domaine ont voulu montrer que lorsque les meilleures pratiques sont utilisées, une grande reproductibilité est achievable. Pendant six ans, des chercheurs des laboratoires de l’UC Santa Barbara, de l’UC Berkeley, de l’Université de Stanford et de l’Université de Virginie ont découvert et reproduit 16 nouvelles découvertes avec les meilleures pratiques apparemment de référence, notamment le pré-enregistrement, les échantillons de grande taille et la fidélité de réplication. Leurs résultats, publiés dans Character Human Conduct, suggèrent en effet qu’avec les meilleures pratiques, une réplicabilité élevée est réalisable.
vous pouvez atteindre des taux de réplication élevés et généralement stables. »
Les résultats de réplication de leur étude représentaient en moyenne 97 % de la taille des résultats originaux. En comparaison, des projets de réplication antérieurs ont observé des résultats de réplication d’environ 50 %.
Les principaux chercheurs de l’article étaient John Protzko du META Lab de l’UCSB et de la Central Connecticut Point out University (CCSU), Jon Krosnick du groupe de recherche en psychologie politique de Stanford, Leif Nelson de la Haas Faculty of Business de l’UC Berkeley et Brian Nosek, affilié à l’Université de Virginie. et est le directeur exécutif du Centre autonome pour la science ouverte.
« Il y a eu beaucoup d’inquiétudes au cours des dernières années quant à la reproductibilité de nombreuses sciences, mais la psychologie a été l’un des premiers domaines à commencer à étudier systématiquement la concern », a déclaré l’auteur principal Protzko, associé de recherche au laboratoire de Schooler, où il était un chercheur postdoctoral pendant l’étude. Il est maintenant professeur adjoint de sciences psychologiques au CCSU. « La problem était de savoir si les échecs de réplication passés et la diminution de l’ampleur des effets sont intrinsèquement liés aux divers domaines scientifiques qui les ont observés. Par exemple, certains ont émis l’hypothèse que c’est un aspect inhérent de l’entreprise scientifique que les découvertes nouvellement découvertes puissent devenir moins reproductibles ou devenir moins reproductibles. moreover petit avec le temps. »
Le groupe a décidé de réaliser de nouvelles études en utilisant les meilleures pratiques émergentes de la science ouverte, puis de les reproduire avec une conception innovante dans laquelle les chercheurs se sont engagés à reproduire les études de confirmation initiales, quel que soit le résultat. Pendant 6 ans, les équipes de recherche de chaque laboratoire ont développé des études qui ont ensuite été reproduites par tous les autres laboratoires.
de pré-enregistrement, de matériaux ouverts dans la découverte de nouvelles sciences, et que vous exécutez des réplications avec la meilleure fidélité probable au processus d’origine, vous obtenez une science très hautement reproductible. » Protzko a parlé des résultats.
L’une des improvements clés proposées par l’étude était que tous les laboratoires participants ont accepté de reproduire les études de affirmation initiales, quels que soient leurs résultats. Cela a supprimé le préjugé habituel de la communauté scientifique consistant à publier et à reproduire uniquement les résultats positifs, ce qui aurait pu contribuer à gonfler les évaluations initiales de l’ampleur des effets dans le passé. En outre, cette approche a permis aux chercheurs d’observer plusieurs cas pour lesquels des conceptions d’étude qui n’avaient pas réussi à produire des résultats significatifs dans la affirmation initiale ont ensuite atteint des effets fiables lorsqu’elles ont été reproduites dans d’autres laboratoires.
Dans l’ensemble, le projet a révélé des taux de réplicabilité extrêmement élevés de leurs résultats socio-comportementaux, et aucune preuve statistiquement significative d’un déclin au fil des réplications répétées. Compte tenu de la taille des échantillons et de l’ampleur des effets, le taux de réplicabilité observé de 86 %, basé sur la signification statistique, n’aurait pas pu être additionally élevé, ont souligné les chercheurs.
Pour tester la nouveauté de leurs découvertes, ils ont effectué des checks indépendants sur les prédictions des gens concernant l’orientation des nouvelles découvertes et leur probabilité de réplication. Plusieurs enquêtes de suivi dans lesquelles des contributors naïfs évaluaient les descriptions des nouvelles études et de celles associées à des projets de réplication précédents n’ont trouvé aucune différence dans leur prévisibilité respective. Ainsi, le succès de la réplication de ces études n’est pas dû à la découverte de résultats évidents dont on s’attendrait nécessairement à une réplication. En effet, bon nombre des découvertes récemment découvertes ont déjà été publiées de manière indépendante dans des revues de grande qualité.
« Il ne serait pas particulièrement intéressant de découvrir qu’il est facile de reproduire des résultats tout à fait évidents », a déclaré Schooler. « Mais nos études étaient comparables dans leur facteur de shock à des études difficiles à reproduire dans le passé. Des juges non formés qui ont reçu des résumés des deux circumstances dans chacune de nos études et un ensemble comparable d’études à deux ailments concerns d’une réplication antérieure. nos initiatives ont montré qu’il était tout aussi difficile de prédire l’orientation de nos résultats par rapport aux précédents. »
Étant donné que chaque laboratoire de recherche a développé ses propres études, celles-ci provenaient de divers domaines sociaux, comportementaux et psychologiques tels que le advertising and marketing, la psychologie politique, les préjugés et la prise de décision. Ils impliquaient tous des sujets humains et respectaient certaines contraintes, comme ne pas recourir à la tromperie. « Nous avons vraiment intégré dans le processus le fait que les laboratoires individuels agiraient de manière indépendante », a déclaré Protzko. « Ils abordaient les sujets habituels qui les intéressaient et la manière dont ils dirigeaient leurs études. »
Collectivement, leur enquête méta-scientifique fournit la preuve qu’une faible réplicabilité et des effets en déclin ne sont pas inévitables. Les pratiques améliorant la rigueur peuvent conduire à des taux de réplication très élevés, mais l’identification précise des pratiques qui fonctionnent le mieux nécessitera une étude additionally approfondie. L’approche « évier de cuisine » de cette étude – utilisant simultanément plusieurs pratiques améliorant la rigueur – n’a isolé l’effet d’aucune pratique individuelle.
