「バ」の声に「ガ」の口の映像で「ダ」と聞こえる錯覚。「日本人は効きにくい」説が揺らぐ

「バ、バ、バ」という声に、「ガ、ガ、ガ」と言っている口の映像を重ねます。すると多くの人には、「ダ、ダ、ダ」と聞こえます。

目を閉じると「バ」に戻ります。目を開けると、また「ダ」。音は1つも変わっていません。変わったのは、目に入った口の動きだけです。

この錯覚はマガーク効果と呼ばれます。そして長いあいだ、「日本語を話す人には起きにくい」と言われてきました。ところが最近、大人数を調べた研究が次々に出て、話が変わってきています。

01「録画の失敗だ」と思った1970年代の発見

発見したのは、イギリスのサリー大学の心理学者ハリー・マガークと、共同研究者のジョン・マクドナルドです。マクドナルドは2018年、発見のいきさつを論文にまとめています。

この発見には、のちに大げさな話もついて回りました。「誰かがクビにされかけた」と語られることがありますが、マクドナルドによると、誰もクビだと脅されてはいないそうです。

マクドナルドは2018年の回想で、1976年の最初の論文では、錯覚が起きた割合は大人の98%から子どもの50%ほどまで幅があり、声と口の組み合わせによっても違った、と振り返っています。錯覚だと教えられたあとも、起きる人には起き続けました。ただ、このときのテープは、その後の2人の職場の移動や映像方式の変化の中でなくなってしまったらしいといいます。

02なぜ「ダ」になるのか

「バ」を言うときは、上下のくちびるがいったん閉じます。ところが映像の「ガ」の口は、くちびるが閉じません。そして口の動きだけを見ると、「ガ」と「ダ」はとても見分けにくい音です。

2023年のフィンランドと日本の共同研究は、「パ」の声に「カ」の口を重ねる、同じしくみの錯覚を調べました。「カ」の口の映像だけを見せると、まちがった答えでいちばん多いのは、どの話し手の映像でも「タ」でした。そして「カ」の口が「タ」と読みとられることが多いほど、錯覚で「タ」と聞こえることも多かったのです。目で「タ」に見えやすい口ほど、「タ」が聞こえやすい。目で読みとった音が、聞こえ方そのものに混ざっていると考えられます。

耳からの情報があやふやになるほど、目の情報が強く効くことも分かっています。雑音を混ぜると錯覚は強くなります。人工内耳（耳の奥に入れて、音を電気の信号にして聞こえの神経に伝える装置）を使っている人では錯覚が強めに出ることや、18〜75歳を調べると年齢が上がるほど錯覚が強くなることも報告されています（2025年の論文は、年をとると聞こえが落ちることと結びつけて説明しています）。

03「日本語話者には効きにくい」説

1991年、積山薫さんと東倉洋一さんは、日本語話者10人に日本語の音節で実験しました。雑音のない条件では、錯覚は小さく、もともと聞き取りにくい音にほぼ限られていました。雑音を加えると強く出ました（くわしくは本館の記事英語は「口元を見る」と聞き取れる？へ）。

その後、積山さんは子どもでも調べています。

つまり、違いは生まれつきではなく、ことばの経験の中で、6歳から8歳ごろにかけて開いていくのではないか、という見方です。

04どんでん返し：大人数で調べると、言語の差より「人による差」

ところが、マガーク効果を大人数で調べる研究が増えると、別の姿が見えてきました。

まず、米国のバス・マリックらは2015年、英語を話す大人165人に12種類の動画を見せました。錯覚が起きた割合は、人によって0%から100%まで。動画1本ごとに見ると、77%の人が「ほとんど起きない（1割以下）」か「ほとんど毎回起きる（9割以上）」のどちらかでした。40人を1年後に調べ直すと、一人ひとりの起きやすさはほぼ同じでした。起きやすさは、その人の安定した性質だったのです。動画によっても、17%しか起きないものから58%起きるものまでありました。

同じグループは日本語話者も調べています。

マグノッティらのグループは、中国と米国の307人を同じ9種類の動画で比べた結果も出しています。錯覚が起きた割合は、中国語話者48%、英語話者44%。ほぼ同じです。起きやすさのばらつきのうち、国や言語の違いで説明できたのはわずか0.2%でした。この研究は2015年に別の雑誌で発表されましたが、動画の静止画を載せていたため、写っている人のプライバシーを守る目的で2024年に取り下げられました。データとは関係のない理由だったため、2025年に画像を除いて、新しい題名で出し直されています。

この2025年の論文は、こう書いています。日本語話者で「ほとんど起きない」と報告した研究は人数が少なく、より大きな2つの研究（2023年のフィンランドと日本の共同研究、2024年の上の研究）がこの主張を否定した、と。ただし、2024年の研究は同じグループ自身のものです。論文は、1グループ15人ほどの実験では、10%ほどの差を見つけられる見込みは18%しかない、という計算も紹介しています。少ない人数で「差が出た」研究は、差を大きく見積もりがちなのです。

それでも、話はこれで終わりではありません。2024年の研究は、日本語話者と英語話者を同じ条件で並べて比べたものではありません。しかもこの研究でも、元祖の「バ＋ガ」の動画に限ると、錯覚が起きた割合は平均12%でした。これが日本語話者の特徴なのか、動画の違いによるものなのかは、この研究だけでは決められません。積山さんたちが見つけた、反応の速さや年齢による伸び方の違いが、すべて否定されたわけでもありません。はっきり言えるのは、「日本人だから効かない」とはとても言えない、ということです。

05マガーク効果で「目で聞く力」は測れるのか

もう1つ、根本的な疑問も出ています。

米国のヴァン・エンゲンらは2022年の論文で、マガーク効果はふだんの会話で目をどれだけ使っているかを測るのに向いていないと主張しました。理由は3つです。

• 実験で使うのは「バ」「ガ」のような1音節だけ。会話ではまず出てこない
• 声と口が食い違うことは、ふつうの会話では起きない
• 最近のデータでは、マガーク効果の起きやすさと、ふつうの映像つきの話をどれだけ聞き取れるかとのあいだに、関係が見られない

つまり、マガーク効果が起きにくい人でも、会話では口元をちゃんと役立てているかもしれません。マガーク効果は、とても面白い錯覚です。でも、それだけで「目で聞く力」のすべては分からないのです。

06もっと知りたい人へ

• マガーク効果（McGurk effect）、視聴覚音声知覚（audiovisual speech perception）、多感覚統合（multisensory integration）、融合反応（fusion response）、個人差（individual differences）
• Harry McGurk & John MacDonald (1976) "Hearing lips and seeing voices." Nature 264: 746–748.
• Kaoru Sekiyama & Yoh'ichi Tohkura (1991) "McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility." Journal of the Acoustical Society of America 90(4): 1797–1805.
• Agnès Alsius, Martin Paré & Kevin G. Munhall (2018) "Forty Years After Hearing Lips and Seeing Voices: the McGurk Effect Revisited." Multisensory Research 31(1-2): 111–144.
• Satoko Hisanaga, Kaoru Sekiyama, Tomohiko Igasaki & Nobuki Murayama (2016) "Language/Culture Modulates Brain and Gaze Processes in Audiovisual Speech Perception." Scientific Reports 6: 35265.

07まとめ

マガーク効果は、人が耳だけでなく目でも音を聞いていることを、1本の動画で見せてくれる錯覚です。始まりは、録画の失敗を疑った2人の研究者でした。

「日本人には効きにくい」という説の出発点は、10人を調べた実験でした。大人数で調べ直すと、国や言語の差より、一人ひとりの差のほうがずっと大きかったのです。動画を見て「ダ」に聞こえなくても、おかしなことではありません。