科学の論文には、たいてい「この効果は統計的に有意だった」という一文があります。読む側は「データがそう言っているなら、そうなんだろう」と受け取ります。

では、まったく同じデータを、別々の専門家チーム29組に渡して、まったく同じ問いに答えてもらったらどうなるでしょう？

答えは「20チームが“効果あり”、9チームが“はっきりしない”」。誰もデータをいじっていないし、ズルもしていない。それでも結論が割れたのです。2018年に発表されたこの実験は、「データが語る」という言い方そのものに、大きな疑問符をつけました。

01問い：審判は肌の色で判定を変えるのか

研究を率いたのは、シルバーザーン（Silberzahn）さんとウールマン（Uhlmann）さんら。テーマに選ばれたのは、社会的にも重い問いでした。

「サッカーの審判は、肌の色が濃い選手に、明るい選手よりレッドカードを出しやすいのか？」

使われたのは、イングランド・ドイツ・フランス・スペインの1部リーグで2012–13年シーズンにプレーした選手2,053人と、彼らがキャリアの中で出会った審判3,147人のデータです。選手と審判の組み合わせ（約14万6千組）ごとに、同じ試合に出た回数と、その審判から受けたレッドカードの数がまとめられていました。選手の肌の色は、研究の目的を知らない2人の評定者が、写真をもとに5段階で評価していました。

ここで大事なのは、これが実験ではなく観察データだということ。肌の色とレッドカードのあいだに関係が見えても、ポジション（守備の選手はファウルが多い）、リーグ、年齢など、ほかの要因が絡んでいる可能性があります。どれを、どう考慮するか。まさにそこが「分かれ道」になります。

02方法：29チームに「同じデータ、同じ問い」を配る

プロジェクトには、29チーム・61人の分析者が参加しました。進め方はおおむね次の流れです。

1. 各チームが独立に1回目の分析を行い、方針の要約を提出する
2. 結果の部分を伏せた方針の要約を全チームで見せ合い、互いに評価やコメントをする
3. それを踏まえて方針を見直し、最終的な分析を出す

つまり「一発勝負の素人分析」ではなく、専門家どうしでレビューしあった後の、練られた分析です。それでも、選ばれた手法は実にさまざまでした。29の分析のうち、共変量の組み合わせだけで21通りに分かれていたと報告されています。

03結果：オッズ比は0.89〜2.93。結論は「有意」20対「非有意」9

各チームが出した効果の大きさ（オッズ比）は、0.89から2.93までばらつきました。中央値は1.31。

最後の2点がとくに重要です。「下手なチームが変な結果を出した」のでも、「先入観のあるチームが都合のいい結果を出した」のでもない。腕のいい専門家が誠実に選んでも、なお結論が割れたのです。

著者らは、複雑なデータの分析では、こうしたばらつきは専門家でも避けがたいのかもしれない、とまとめています。

04「分かれ道の庭」――ズルしなくても偽陽性は増える

この現象と近い問題には、先に名前がついていました。統計学者のゲルマン（Gelman）さんと共著者のローケン（Loken）さんが広めた「分かれ道の庭（garden of forking paths）」です。

よく知られた「pハッキング」は、有意になるまで分析をあれこれ試すこと。これは意図的な（あるいは半ば無自覚な）“釣り”です。

ゲルマンさんらの指摘はもっと深いものでした。研究者が分析を1回しかしていなくても問題は起こる。なぜなら、その「1回」の選び方が、目の前のデータを見てから決まっているかもしれないからです。もしデータが少し違っていたら、別の分かれ道を「自然に」選んでいたはず。その意味で、目に見えない多重比較がすでに起きている、というわけです。

2011年にはシモンズ（Simmons）さんらが「偽陽性心理学（False-Positive Psychology）」という論文で、データ収集や分析のちょっとした柔軟性が重なるだけで、本来5%に抑えられるはずの偽陽性が何倍にも膨らむことをシミュレーションで示していました。

ただし、29チームの論文の著者ら自身は、自分たちの結果を pハッキングとも「分かれ道の庭」とも区別しています。各チームは決められた一つの問いを調べ、有意な結果を出す動機もなく、データを眺めてから検定を選んだわけでもなかった。それでも結果はばらついた。つまり「データを見る前に分析を決めておけば済む」話ではなく、筋の通った分析の選び方が複数あること自体が、結論を揺らしうる。著者らは、事前登録をしていてもこのばらつきは防げなかっただろう、と述べています。

05サッカーだけじゃない：脳画像でも社会学でも

「多分析者（many analysts）」型の研究は、その後ほかの分野でも行われました。

• 脳画像（fMRI）：ボトヴィニク＝ネゼル（Botvinik-Nezer）さんらは2020年、70チームに同じ脳画像データで9つの仮説を検証してもらいました。まったく同じ処理手順を選んだチームは一つもなく、仮説ごとの判定にも大きなばらつきが出ました。
• 社会学：ブレズナウ（Breznau）さんらは2022年、73チーム・161人に「移民が増えると、人々の社会政策（福祉など）への支持は下がるか」という同じ仮説を同じデータで検証してもらいました。数値も結論も大きく分かれ、各チームの判断を細かく分類しても、結果のばらつきの95%以上は説明できないままでした。

分野が違っても、「同じデータから違う答え」は繰り返し現れたのです。

06処方箋：マルチバース分析と「手の内を見せる」科学

では、どうすればいいのか。有力な答えの一つがマルチバース分析です。

ステーゲン（Steegen）さん、ゲルマンさんらは2016年、データの除外や変数の作り方など、筋の通った選択肢をすべて組み合わせ、それぞれで分析をやり直して結果の分布を示すことを提案しました。一つの分析だけを見せるのは、無数にある並行宇宙の一つだけを見せるようなものだ、という発想です。

同じ考え方を「仕様（specification）」の側から整理したのが、シモンソン（Simonsohn）さんらのスペシフィケーション・カーブ分析です。ありうる分析仕様ごとの推定値を並べ、結果がどの選択にどれほど左右されるかを一目で見せます。

このほか、

• 事前登録：データを見る前に分析計画を公開しておく
• データとコードの公開：他人が別の分かれ道を試せるようにする
• 多分析者デザインそのもの：重要な問いでは最初から複数チームに分析してもらう

といった方法が、「再現性の危機」以降の改革として広がっています。

07研究史の中の位置づけ

2010年代前半、心理学では追試の失敗が相次ぎ、「再現性の危機」と呼ばれました。そこで議論の中心だったのは、主にズル・出版バイアス・小さすぎるサンプルです。

29チームの研究が新しかったのは、誠実で有能な分析者でも、結論は割れることを示した点です。問題は個人のモラルだけでなく、データ分析という作業そのものに組み込まれた不確かさにある。この視点の転換によって、「ひとつの論文＝ひとつの真実」という見方から、「ひとつの論文＝ありうる分析の一例」という見方へ、議論が広がりました。

08まとめ

同じデータ、同じ問い、誠実な専門家。それでも答えは一つにならなかった。

これは「科学は信用できない」という話ではありません。一つの分析結果は、ありえた多くの分析のうちの一つにすぎないという、ごく当たり前で、でも見落とされがちな事実を突きつけた研究です。

次に「研究で〇〇と判明！」というニュースを見たら、こう考えてみてください。「別のチームが同じデータを分析しても、同じ結論になるだろうか？」