科学論文のタイトルで、これほど挑発的なものはそうありません。

"Why Most Published Research Findings Are False"――「発表された研究結果の大半はなぜ誤りなのか」。

2005年、医学研究者のヨアニディス（Ioannidis）さんがオープンアクセス誌『PLoS Medicine』に発表した論文です。科学への信頼をゆさぶる一本として、今も繰り返し引用されています。

ところがこの論文、実際に論文を集めて「ウソ」を数えたわけではありません。中身は、紙と鉛筆でもたどれる確率の計算です。では、その計算は何を前提にしていて、どこまで正しいのか。反論も含めて読み解いてみましょう。

01問い：「有意」の中に、ハズレはどれくらい混ざっている？

よくある誤解から始めましょう。「p<0.05 で有意なら、その結果が正しい確率は95%」。これはまちがいです。

5%というのは「効果がない仮説を調べたとき、うっかり有意になる確率」。知りたいのはその逆、「有意になった結果のうち、本当に効果があるものの割合」です。この二つは、病気の検査でいう「偽陽性率」と「陽性的中率」の関係と同じで、まったく別物です。

ヨアニディスさんの論文は、この陽性的中率を、検出力・事前確率・バイアスの三つで表す式を示し、さまざまな研究分野に当てはめたものでした。

02計算してみる：1,000個の仮説で考える

式を使わず、数で追いかけてみましょう（ここでの数字は説明用の例です）。

ある分野で1,000個の仮説が調べられ、そのうち本当に当たりなのは100個だけ（事前確率10%）だとします。

• ハズレの900個のうち、5%の45個がうっかり「有意」になる
• 当たりの100個のうち、検出力が80%なら80個が「有意」になる

有意になったのは合計125個。そのうち本物は80個なので、陽性的中率は約64%。すでに3分の1以上がハズレです。

では、研究が小さく、検出力が20%しかなかったら？ 当たりから有意になるのは20個だけ。ハズレからの45個はそのままなので、有意65個のうち本物は20個、約31%。有意な結果の7割近くがハズレになります。

ここにバイアス（都合のいい分析・報告）が加われば、ハズレはさらに増えます。「大半は誤り」という結論は、当たりの少ない分野で、小さな研究を、柔軟な分析で行うと、こうなるという計算なのです。

036つの「誤りやすさ」の条件

論文は、こうした計算から、研究結果が誤りになりやすい条件を6つ挙げています。要約すると次のとおりです。

1. 研究の規模が小さい
2. 効果の大きさが小さい
3. 調べる関係の数が多く、事前の絞り込みが弱い
4. デザイン・定義・評価項目・分析方法の自由度が大きい
5. 金銭的な利害や先入観が強い
6. 多くのチームが競い合う「ホットな」分野である

6番目は少し意外です。競争が激しいほど、目立つ「有意」な結果を急いで発表しようとする圧力が強まり、偶然の当たりが先に世に出やすくなる、という理屈です（ただし、この6番目の条件には後で紹介する批判があります）。

論文では分野ごとの目安も示されています。十分な規模で、事前の見込みが五分五分の質の高いランダム化比較試験なら、結果が正しい確率はおよそ85%。一方、十分な規模の探索的な疫学研究でも、当たりの比率が1対10なら5回に1回ほど。3万個の遺伝子を調べて本物は30個、というような（当たりの比が1対1,000の）発見型の研究では、ひとつひとつの「発見」が正しい確率は0.1%前後にとどまる、と試算されました。

つまり「大半は誤り」は、すべての研究に一律に当てはまる宣告ではなく、条件の悪い研究ほどそうなるという主張なのです。

04検出力不足は「二重に」効く

2013年、バトン（Button）さんら（ヨアニディスさんも共著者）は、この理論を神経科学に当てはめました。

検出力が低いと「本物を見逃す」ことはよく知られています。でもバトンさんらが強調したのは、もう一つの害でした。検出力が低いと、有意になった結果が本物である確率そのものも下がる。上の1,000個の計算で、検出力80%と20%を比べたときに起きたことです。

さらに、小さな研究でたまたま有意になった結果は、効果の大きさを過大に見積もりがちになります。偶然大きく出たときだけ有意の線を越えるからです。この「勝者の呪い」によって、後から大きな研究で確かめると効果が縮んでしまう。バトンさんらは、神経科学の研究の平均的な検出力は非常に低いと結論づけています。

05現実のデータは理論どおりだったか

理論の予測を、現実で確かめるような大規模な試みも行われました。2015年の「再現性プロジェクト」では、心理学の100の研究を追試したところ、元の研究の97%が有意だったのに対し、追試で有意になったのは36%。効果の大きさも、平均で元の半分ほどに縮みました。

効果の縮みは、まさに「勝者の呪い」の予測どおりです。ただし注意も必要です。追試で有意にならなかったからといって、元の結果が「誤り」と決まるわけではありません。追試自体にも見逃しの可能性があります。再現率の数字は、そのまま「正しい研究の割合」ではないのです（追試の舞台裏や個別の事例は、パワーポーズの記事などでも紹介しています）。

結局、「誤りの割合」はどの分野の、どんな研究を対象にするかで大きく変わります。ランダム化比較試験の多い一流医学誌の論文と、探索的な小規模研究とでは、同じ数字になるはずがありません。

06研究史の中の位置づけ

ヨアニディスさんの論文自体は、新しい統計手法を発明したものではありません。検査の陽性的中率の考え方は昔からありました。

この論文の功績は、それを「発表された研究全体」にあてはめ、研究の規模・分析の柔軟性・利害・競争といった、科学の“生態系”の性質と結びつけたことにあります。

その後の10年あまりで、検出力の重視、事前登録、データ公開、大規模な追試プロジェクトといった改革が次々と進みました。「メタサイエンス（科学についての科学）」と呼ばれる分野の、出発点の一つといえる論文です。

07まとめ

「発表された研究の大半はまちがい」。この言葉は、半分ホントで、半分は言いすぎです。

ホントなのは、「有意」という一つの判定だけでは、結果が正しいかどうかは決まらないということ。当たりの少ない分野で、小さな研究を、柔軟な分析で行えば、有意な結果の中にハズレが多く混ざるのは計算上避けられません。

言いすぎなのは、それがあらゆる研究に一律に当てはまるかのように聞こえること。答えは、分野と前提しだいです。

ニュースで「研究で判明！」を見たら、「その研究は大きかった？ ほかでも確かめられた？」と問いかけてみてください。それだけで、ハズレを引く確率はぐっと下がります。