「バイリンガルの「良い結果」は、論文になりやすい」って、ホント？

研究室の机の引き出しには、論文にならなかった研究が眠っている。1979年、心理学者のローゼンソールは、これを「引き出し問題」と名づけました。

ローゼンソールは、極端に考えるとこうなる、と書いています。学術雑誌には、たまたま「効果あり」と出てしまった5%の研究が並び、研究室の引き出しには、「効果なし」と出た残り95%の研究がしまいこまれている。もちろん、これは極端な場合の話です。それでも、雑誌に載った研究だけを読んでいると、実際に行われた研究全体とは違う姿を見ている可能性がある、という警告でした。

この引き出しの中身を、実際にのぞいてみた研究があります。テーマは、「バイリンガルは頭の切り替えが得意」という説でした。

論文になる前の姿を追う

引き出しの中身は、ふつうは外から見えません。そこで、ド・ブリュインら3人の研究者は、学会での発表に目をつけました。研究者は、論文を書く前に、学会で研究の要旨を発表することがよくあります。要旨の記録は残るので、そのあと論文になったかどうかを追いかけられます。

2015年に発表されたこの研究で、3人は1999年から2012年までの学会で発表された、バイリンガルと実行機能についての要旨104本を集めました。実行機能とは、じゃまな情報をおさえたり、作業を切り替えたりする頭の働きのことです。

104本の結果を分けると、バイリンガルの有利さを支持するものが38%、結果が混ざっているが支持に傾くものが13%でした。一方、結果が混ざっているが否定に傾くものが32%、有利さが見つからなかったものが16%です。発表の段階では、支持と否定がおよそ半々だったのです。

63%と36%

2014年2月までに、このうち52本が論文として出版されていました。

内訳を見ると、偏りがはっきりします。有利さを全面的に、あるいは部分的に支持する研究は63%が出版されていました。一方、有利さを主に、あるいはまったく支持しない研究で、出版されたのは36%でした。完全に支持する研究がいちばん出版されやすく、次が結果の混ざった研究で、有利さに否定的な研究がいちばん出版されにくかったのです。

この差は、参加者の人数や、使ったテスト、統計で差を見つける力の違いでは説明できませんでした。研究の質が低いから落とされた、というわけではなさそうです。研究の規模と結果を並べて偏りを調べる方法でも、出版バイアスがあることが裏づけられました。

論文だけ読むと、効果が大きく見える

つまり、発表の段階では半々だった研究が、雑誌に載る段階では、有利さを支持する側に大きく傾いていたことになります。

これが「出版バイアス」です。効果が出た研究は論文になりやすく、効果が出なかった研究は引き出しに残りやすい。その結果、論文だけを集めて判断すると、実際よりも効果が大きく見えてしまいます。研究者が「効果なし」の結果を論文にしようとしないことも、雑誌がそうした論文を載せたがらないことも、どちらも原因になりえます。

これはバイリンガル研究だけの問題ではありません。どの分野でも起こりうることで、だからこそ、研究をまとめる人たちは、論文になっていないデータまで探し、出版バイアスを補正する方法を工夫しています。判定は「ホント」です。

「研究によると」を読むときに

この話は、勉強法を選ぶときにも役に立ちます。「〇〇勉強法の効果が研究で示された」という記事を見たら、原田英語のおすすめは、次の2つを確かめることです。

ひとつは、それが1つの研究なのか、たくさんの研究をまとめた分析なのか。もうひとつは、まとめた分析なら、出版バイアスまで考えに入れているかどうかです。1つの研究の「効果あり」は、引き出しの中の「効果なし」と比べられていないかもしれません。

派手な結果ほど、雑誌にも、ニュースにも載りやすいものです。目に入ってくる研究の向こうには、見えない引き出しがある。そう思っておくだけで、研究のニュースとのつきあい方が変わります。