英語は「口元を見る」と聞き取れる? 日本人は静かな場所だと唇の情報をあまり使わないという研究があった

読む前に予想してみよう!
人は話し声を聞くとき、相手の唇の動きにも影響されている
音声と唇の動きを食い違わせると別の音に聞こえる「マガーク効果」で確かめられている。
- 対象
- 日本語・英語・中国語話者の大人
- 規模
- 各10〜数十人規模
- 研究の種類
- 視聴覚の知覚実験
- 確かさ
- ★★★☆☆
人は耳だけでなく唇の動きも使って音を聞いている。ところが日本語話者は、静かな環境では唇の情報をあまり使わない傾向があった。
ひとことで言うと人は「目」でも音を聞いている。英語は話す人の口を見るとわかりやすいかも!
「バ」と言っている音声に、「ガ」と言っている口の動画を重ねます。すると多くの人には「ダ」に聞こえます。
これはマガーク効果と呼ばれる有名な錯覚。1976年にイギリスの心理学者マガークとマクドナルドが科学誌『ネイチャー』で報告しました。目を閉じると「バ」に戻るのに、目を開けると「ダ」。人は耳だけでなく、目でも音を聞いているのです。
ところが、この錯覚には日本語話者だと起きにくいという意外な研究がありました。
01日本人には「マガーク効果」が起きにくい?
つまり日本語話者は、音がはっきり聞こえる限り、唇の情報にあまり頼らない。逆に音が聞き取りにくくなると、唇の情報をしっかり使い始めるということです。
その後の研究で、英語話者と比べた場合にも、日本語話者のマガーク効果は弱めになりやすいことが報告されています。
02原因は「文化」か「言語」か
なぜでしょうか。仮説の一つは文化です。日本では相手の顔をじっと見つめることを避ける傾向があり、それが関係しているのでは、という考えです。
積山は1997年、同じく東アジアの中国語話者(日本在住の14人)でも実験しました。中国語話者もマガーク効果は弱めでしたが、日本での滞在が長い人ほど効果の出方が変わるという結果も得られています。言語の音の性質(日本語は音の種類が少なく、耳だけで聞き分けやすい)も関係している可能性があり、原因はまだ一つに絞れていません。

03騒がしい場所では、口元は強い味方
一方で、口元の情報が雑音の中で役立つ場面もあります。
1954年のサンビーとポラックの古典的な実験では、雑音の中で単語を聞き取るとき、話し手の顔と唇が見えるだけで、聞き取れる量が大きく増えました。特に雑音が大きいほど、目の情報がもたらす聞き取りの増加量(絶対量)は大きくなりました。
英語学習者にとって、英語は母語よりも「聞き取りにくい音」です。日本語の静かな会話では口元を見なくても困りませんが、英語では口元が有力なヒントになる可能性があります。ただし、日本人英語学習者で「口元を見る練習」がリスニング力を伸ばすかどうかを直接確かめた研究はまだ多くありません。
04まとめ
人は目でも音を聞いている。そして日本語話者は、静かな場所ではその「目の耳」をあまり使わない傾向があるようです。
英語のように聞き取りにくい言葉では、口元は貴重なヒント。次の英会話では、ちょっとだけ相手の唇に注目してみてください。
この研究を英語で読もう原田英語の English CornerIf you hear the sound "ba" while watching lips that say "ga," you will probably hear "da." This is called…
音声
4択クイズ9問A2・B1・B2タップして開く
原田英語の English Corner
この研究を英語で読もう
In a famous test video, you hear the sound "ba," but the lips say "ga." Many people hear "da." This shows that we listen with our eyes, too. In 1991, a study found that Japanese speakers did not use lip movements much in a quiet room.
But when there was noise, they used the lips more. English is often hard for learners to hear. So when you listen to English, try watching the speaker's mouth.
75 words ・ CEFR A2
和訳を見る
有名な実験の動画では、「バ」という音が聞こえますが、唇は「ガ」と言っています。すると多くの人には「ダ」に聞こえます。これは、私たちが目でも聞いていることを示しています。1991年のある研究では、日本語話者は静かな部屋では唇の動きをあまり使わないことがわかりました。
しかし雑音があると、彼らは唇をより多く使いました。英語は学習者にとって聞き取りにくいことが多いものです。だから英語を聞くときは、話す人の口元を見てみましょう。
4択リーディングクイズ
Q1. What is the passage mainly about?
we listen with our eyes, too と唇の情報の使い方が全体のテーマなので C。
Q2. When did Japanese speakers use lip movements more?
But when there was noise, they used the lips more. とあるので A。
Q3. In this passage, "quiet" means ...
a quiet room は「静かな部屋」。quiet は「ほとんど音がしない」という意味なので D。
If you hear the sound "ba" while watching lips that say "ga," you will probably hear "da." This is called the McGurk effect, first reported in 1976, and it shows that the brain combines sound and sight. In a 1991 study of ten Japanese speakers, the effect was small when there was no noise. When noise was added, however, it became much stronger.
So Japanese listeners tend to rely on lips mostly when the sound is unclear. Researchers are still not sure whether the reason is cultural, such as avoiding looking at faces, or linguistic. On the other hand, a classic 1954 study showed that seeing a speaker's face helps listeners understand words in noise. Since English is harder to hear, watching the mouth may help.
126 words ・ CEFR B1
和訳を見る
「ガ」と言う唇を見ながら「バ」という音を聞くと、おそらく「ダ」に聞こえるでしょう。これは1976年に初めて報告された「マガーク効果」と呼ばれる現象で、脳が音と見たものを組み合わせていることを示しています。日本語話者10人を対象にした1991年の研究では、雑音がないときにはこの効果は小さいものでした。しかし雑音を加えると、効果はずっと強くなりました。
つまり、日本語話者は音がはっきりしないときに主に唇に頼る傾向があるのです。その理由が、顔を見るのを避けるといった文化的なものなのか、言語的なものなのかは、まだはっきりしていません。一方、1954年の古典的な研究は、話し手の顔が見えると、雑音の中で単語を理解するのに役立つことを示しました。英語は聞き取りにくいので、口元を見ることが助けになるかもしれません。
4択リーディングクイズ
Q1. What does the McGurk effect show?
it shows that the brain combines sound and sight とあるので A。
Q2. According to the 1991 study, when was the effect small for Japanese speakers?
the effect was small when there was no noise とあるので B。雑音を加えると強くなった。
Q3. What does the passage say about the reason for the Japanese result?
Researchers are still not sure whether the reason is cultural ... or linguistic とあるので D。
Speech perception is not purely auditory. In the McGurk effect, reported in 1976, a voice saying "ba" combined with lips forming "ga" is typically heard as "da," demonstrating that the brain integrates visual and acoustic information. Sekiyama and Tohkura found in 1991, however, that ten Japanese participants showed only a small effect in quiet conditions, mostly limited to syllables that were hard to hear, while adding noise made the effect strong and widespread.
Later comparisons suggested that the effect tends to be weaker in Japanese than in English listeners. Why this happens remains unresolved. One hypothesis points to a cultural tendency to avoid looking directly at faces, but Chinese listeners living in Japan also showed a weak effect, and their responses changed with longer residence in Japan.
Linguistic factors, such as the relatively small set of Japanese sounds, may also play a role, and the two explanations are difficult to separate. What is clearer is that, as Sumby and Pollack showed in 1954, visual information greatly improves word recognition in noise. Whether training learners to watch the speaker's mouth actually improves their English listening, though, has rarely been tested directly.
190 words ・ CEFR B2
和訳を見る
音声の知覚は、純粋に聴覚だけのものではありません。1976年に報告されたマガーク効果では、「バ」と言う声に「ガ」の形をした唇を組み合わせると、ふつう「ダ」と聞こえます。これは、脳が視覚と音響の情報を統合していることを示しています。
しかし積山と東倉は1991年、日本語話者の参加者10人では、静かな条件では効果が小さく、それも主に聞き取りにくい音節に限られる一方、雑音を加えると効果が強く広く現れることを見いだしました。その後の比較では、この効果は英語話者より日本語話者で弱くなりやすいことが示唆されています。なぜそうなるのかは、まだ解明されていません。1つの仮説は、顔を直接見るのを避ける文化的傾向を挙げていますが、日本在住の中国語話者も弱い効果を示し、しかも日本での滞在が長くなるにつれて反応が変化しました。
日本語の音の種類が比較的少ないといった言語的要因も関わっているかもしれず、2つの説明を切り分けるのは難しいのです。よりはっきりしているのは、サンビーとポラックが1954年に示したように、視覚情報が雑音の中での単語の認識を大きく改善するということです。ただし、話し手の口元を見るよう学習者を訓練することで英語のリスニングが実際に向上するかどうかは、直接検証されることがほとんどありませんでした。
4択リーディングクイズ
Q1. What is the main topic of the passage?
マガーク効果を通して、音声知覚における視覚情報の役割と日本語話者の特徴を論じているので D。
Q2. What does the passage say about Chinese listeners?
Chinese listeners also showed a weak effect, and their responses changed with longer residence in Japan とあるので A。
Q3. Which statement would the author most likely agree with?
視覚情報は雑音下で役立つ(Sumby & Pollack)が、訓練効果は has rarely been tested directly と最終文で述べているので C。
重要単語
- lip-readingB2名詞読唇(唇の動きを読むこと)Lip-reading helps in a noisy room.
lip(唇)+ reading。動詞は lip-read。read lips「唇を読む」という言い方もある。 - visual cueB2名詞(句)視覚の手がかりVisual cues make speech easier to follow.
cue は「合図・手がかり」。発音は queue(列)と同じ /kjuː/。auditory cue「聴覚の手がかり」と対で使う。 - integrateB2動詞統合するThe brain integrates sight and sound.
integrate A with B「A を B と統合する」。名詞 integration。視聴覚統合 audiovisual integration は認知科学の頻出語。 - mismatchB2名詞食い違い・不一致A mismatch between the lips and the voice creates an illusion.
mis-(誤った)+ match。a mismatch between A and B の形で使う。 - noiseA2名詞雑音It is hard to listen in noise.
形容詞 noisy。in noise「雑音の中で」は音声研究の定番表現。make (a) noise「音を立てる」。 - auditoryC1形容詞聴覚のJapanese listeners relied mostly on auditory information.
audio と同語源(aud- =聞く)。auditorium「講堂」も仲間。visual(視覚の)と対で覚える。 - hypothesisB2名詞仮説One hypothesis points to cultural habits.
複数形は hypotheses。test a hypothesis「仮説を検証する」は研究英語の定番コロケーション。
動画でもっと知る
動画は各チャンネルの公式埋め込みで表示しています(YouTube)。
この話題を TED で聞く
同じテーマの TED・TED-Ed を、
TED HACK で。英語の見どころ・使える表現・学習ミッションつきの日本語ガイドです。(運営:原田英語)
このネタ、誰かに教えたくなった?
「バ」の音声に「ガ」の口の動きを重ねると「ダ」に聞こえる“マガーク効果”。ところが日本語話者は、静かな場所だとこの錯覚が起きにくいらしい。唇の情報をあまり使わない耳の持ち主かも。
押すと「マジかリスト」に保存されます
出典・参考文献(4件)タップで表示
- McGurk & MacDonald (1976) Hearing lips and seeing voices. Naturedoi.org
- Sekiyama & Tohkura (1991) McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility. The Journal of the Acoustical Society of Americadoi.org
- Sekiyama (1997) Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects. Perception & Psychophysicsdoi.org
- Sumby & Pollack (1954) Visual contribution to speech intelligibility in noise. The Journal of the Acoustical Society of Americadoi.org
※本記事は上記の研究・公開資料をもとに、原田英語が独自の言葉で解説したものです。引用は著作権法第32条の範囲で行い、出典を明記しています。画像はすべてオリジナルのイメージです。研究結果には限界や個人差があります。誤りのご指摘は原田英語のお問い合わせフォームから。











