社会・行動科学6分野の研究を大規模に追試した国際プロジェクトで、検証した論文の約半数が、元研究と同じ方向の統計的有意差を示しました。一方、追試で得られた効果は元研究より小さい傾向にあり、論文の結論が再現されたかどうかは、判定方法によっても変わりました。
6分野の164論文を独立チームが検証
研究チームは、2009〜2018年にビジネス、経済学、教育、政治学、心理学、社会学の62誌に掲載された論文から検証対象を選びました。対象は、実際の人間のデータを使い、肯定的な統計結果を報告した研究です。
296件の追試で、164論文に含まれる274の科学的主張を調べました。元研究の著者から意見を募り、データ収集や分析の前に計画を査読し、Open Science Frameworkに事前登録する手順も採用しました。
追試では元研究とは別のデータを使います。新たに参加者からデータを集めた研究が98論文分、元研究で使われていない既存データを分析した研究が66論文分でした。
論文単位の成功率は49.3％
基本的な判定指標は、追試で元研究と同じ方向の統計的有意差が得られたかどうかです。この基準では、各論文を同じ重みで数えると、164論文中80.8論文相当、49.3％が基準を満たしました。
論文ではなく主張ごとに数えると、274件中151件、55.1％が同じ基準を満たしました。残る主張の35.8％では統計的有意差がなく、8.8％では元研究と逆方向の有意差がありました。
分野別の論文単位の成功率は、経済学42.5％、ビジネス47.2％、心理学49.0％、社会学51.1％、政治学52.0％、教育63.1％でした。分野間の差は統計的に有意ではなく、教育など一部の分野では対象論文が少数でした。
効果の大きさは追試で縮小
研究チームは、異なる統計モデルの結果を比べるため、157論文分の249の主張をピアソンの相関係数 r に換算しました。rは2つの変数の関係を表し、0は関係なし、1は完全な正の関係、負の値は逆方向の関係を示します。
元研究の効果量の中央値はr=0.25でしたが、追試ではr=0.10でした。追試で効果量が元研究より小さかったのは、論文単位で80.3％、主張単位で70.3％でした。
相関の大きさを示す慣例的な目安では、r=0.10は小さい効果に当たります。ただし、708件のメタ分析由来の相関を調べた研究では、中央値がr=0.19で、r=0.10、0.20、0.30をそれぞれ比較的小さい、典型的、比較的大きい値として扱う提案が示されました。今回のr=0.10を読む際は、慣例的な区分と、研究分野で観察される相関の分布の両方が参考になります。
追試と再現性は別の検証
社会・行動科学では、「追試」は同じ科学的な問いを別のデータで調べ、結果の一貫性を見ることを指します。「再現性」は、元のデータや分析手順、コードを使い、計算結果が一致するかを確かめることです。
両者では使うデータが異なります。追試では新たに集めたデータと過去の研究に似た方法を使い、再現性の検証では元のデータとコードを使って分析結果を確かめます。
また、追試の結果は元研究と完全に同じ数値になる必要はなく、結果同士の近さと不確実性を踏まえて一貫性を評価します。両方の研究で統計的有意差が得られたかだけを基準にすると、追試の判定が限定的で信頼しにくくなる場合があります。
