語学・英語学習 マジカ!?ゼミ・言語学ビミョー

単語の長さを決めるのは「使う頻度」か「文脈での情報量」か。MITの新説と、その後の“逆転劇”

マジか度!?!?!?!?!? 2026.10.02⏱ 9分で読める 出典5件 English Corner（A2〜B2・4択クイズ）
単語の長さを決めるのは「使う頻度」か「文脈での情報量」か。MITの新説と、その後の“逆転劇”

読む前に予想してみよう！

「よく使う単語ほど短い」という傾向は、日本語や英語など多くの言語で昔から知られている

研究カード（どんな研究？）
対象
ヨーロッパ11言語のウェブ文書（英語は別コーパスでも再現）
規模
各言語の高頻度語2万5千語
研究の種類
コーパスの相関分析
確かさ
★★☆☆☆
3秒でわかる

「よく使う単語ほど短い」に、2011年MITが「本当の決め手は文脈での予想しやすさ」と挑戦。だが後の再分析では、やはり頻度が強いという結果も。

ひとことで言うと単語の長さは「よく使うか」「予想しやすいか」どっちで決まる？ まだ決着なし！

論文スペック表研究デザイン・規模・結果・その後（玄人向け）
研究デザイン
観察研究（コーパスの相関分析）
データ
ヨーロッパ11言語のグーグルN-gram統計、各言語の高頻度語2万5千語（英語はBNCでも再分析）
主な指標
単語の長さ（文字数）と、頻度・平均情報量（2〜4-gramで推定）との相関、および偏相関
主な結果
3-gramでは11言語中10言語で、情報量のほうが頻度より長さと強く相関
効果の大きさ
英語BNCでの相関は頻度で約0.12、情報量で約0.16〜0.17と、絶対値は小さい
その後の追試・再分析
Meylan & Griffiths (2021) はデータ処理を見直すと過半数の言語で頻度が優勢、Pimentel et al. (2023) は13言語で頻度が最もよく長さを予測と報告
もくじ
  1. 問い：「頻度」と「予想しやすさ」は何が違う？
  2. 方法：グーグルのN-gramデータで11言語を比較
  3. 結果：多くの言語で「情報量」が頻度を上回った
  4. 話し手は“その場で”短い語を選んでいる？
  5. ところが…再分析で「やっぱり頻度」
  6. 研究史の中での位置づけ
  7. まとめ

「の」「は」「the」「a」。よく使う単語ほど短い。

これは言語学でもっとも有名な経験則のひとつで、20世紀前半にアメリカの言語学者ジップ（G. K. Zipf）が広めました。理由もシンプル。よく使う言葉を短くしておけば、全体として話す手間が減る。モールス信号で頻出の E を「・」1つにしたのと同じ発想です。

ところが2011年、MITのピアンタドーシ（Piantadosi）らが、この“定説”に挑戦しました。「単語の長さを本当に決めているのは頻度ではなく、文脈の中でどれだけ予想しにくいか（情報量）だ」。この主張は米国科学アカデミー紀要（PNAS）に掲載されました。しかしその後10年あまりかけて、再分析で揺さぶられることになります。

01問い：「頻度」と「予想しやすさ」は何が違う？

この2つは似ているようで、実は別物です。

たとえば英語の “you are what you eat” の eat。eat 自体はとびぬけて頻度が高い単語ではありませんが、この決まり文句の中ではほぼ確実に予想できます。逆に、頻度はそこそこでも、いつも予想しにくい場面で出てくる単語もある。

ピアンタドーシらの理屈はこうです。話し手と聞き手にとって効率がいいのは、1秒あたりに運ぶ情報量をなるべく一定に保つこと（これを情報密度均一化の考え方と呼びます）。そのためには、情報をたくさん運ぶ単語には長さを与え、文脈から予想できる単語は短くするのが合理的。頻度だけで長さを割り振るジップ式より、文脈を考えたほうが賢い符号になる、という主張です。

02方法：グーグルのN-gramデータで11言語を比較

平均情報量は、その単語が出てくるたびに「直前の1〜3語から見てどれだけ予想外だったか」を計算し、平均したものです（2-gram、3-gram、4-gramの3通り）。

03結果：多くの言語で「情報量」が頻度を上回った

  • 2-gramでは、11言語すべてで、情報量のほうが頻度より長さと強く相関した。
  • 3-gramでは11言語中10言語で同じ結果（ポーランド語だけ有意差なし）。著者らはこれを最も代表的な結果とした。
  • 4-gramでは11言語中7言語にとどまった。著者らは、長いN-gramほど推定誤差が大きくなるためと説明している。
  • 頻度と情報量は互いに相関しているので、一方の影響を除いた「偏相関」も計算。いくつかの言語では、情報量の影響を除くと頻度の効果はほぼゼロになった。

英語では、グーグルのデータ特有の偏りでないことを確かめるため、イギリス国立コーパス（BNC）と標準的な平滑化の手法でも再分析し、同じ方向の結果を得ています（ただしBNCは約1億語で、グーグルの英語データの約1万分の1の規模）。さらに、英語とオランダ語では文字数でなく音素数・音節数で測っても、2-gramと3-gramでは同様でした（ドイツ語は結果がまちまちで、3-gramの音素数では逆方向の有意な結果も出ています）。

著者らは、「最も効率的なのは、もっとも予測しやすい単語を短くする符号であって、もっとも頻度の高い単語を短くする符号ではない」とまとめ、ジップの見方の修正が必要だと主張しました。

「予想しにくい単語には長さを、予想しやすい単語は短く」――情報の流れをなだらかにする、という発想
「予想しにくい単語には長さを、予想しやすい単語は短く」――情報の流れをなだらかにする、という発想

04話し手は“その場で”短い語を選んでいる？

この説を後押ししたのが、2013年のマホワルド（Mahowald）らの研究です。

英語の chimp / chimpanzee（チンパンジー）のように、意味がほぼ同じで長さだけ違う単語ペアに注目。コーパスを調べると、短い形のほうが予想しやすい文脈で使われていました。さらに行動実験でも、予想しやすい文脈では人は短い形を選びやすいことが分かりました。

つまり、「予想しやすいときは短く言う」という話し手の日々の選択が積み重なって、単語の長さそのものに刻まれていく――というメカニズムが考えられます。日本語でも「スマートフォン」が「スマホ」になるような短縮が身近ですね（ただし日本語の短縮語についてこの理論で検証した研究を本記事では確認できていないので、ここはあくまでイメージです）。

05ところが…再分析で「やっぱり頻度」

ここから玄人ゾーン

ここまで読めば要点はつかめています。この先は反論・方法論・未解決の問いまで踏み込みます。

この逆転劇の面白さは、誰かが不正をしたわけではなく、「単語とは何か」「情報量をどう推定するか」という測定の選択が結論を左右したことです。

06研究史の中での位置づけ

それでも、ピアンタドーシらの論文の価値が消えたわけではありません。

この研究は、「言語は伝達の効率に合わせて形づくられている」という大きな研究プログラムの代表例になりました。ギブソンらのグループやその共同研究者からは、文法や語順も効率で説明しようとする研究が次々に出ています（2019年には、ギブソン、ピアンタドーシ、マホワルドらがその流れをまとめた総説「How Efficiency Shapes Human Language」を Trends in Cognitive Sciences に発表しています）。

また、マホワルドらが示した「予想しやすい場面では短い形を選ぶ」という話し手レベルの効果は、単語全体の長さの議論とは別に、発話の研究として支持を集めています。争点は、それが語彙全体の長さまで決めるほど強いのか、という点にあります。

07まとめ

「よく使う単語ほど短い」というジップの法則に、MITのチームは「本当は予想しやすい単語ほど短い」という、より洗練された説明をぶつけました。

しかしその後、データ処理と理論の両面から再検討が進み、2020年代の研究では頻度が再び優勢という結果も出ています。現時点の判定は「ビミョー」。予想しやすい場面で短く言う傾向は確かにありそうですが、それが語彙全体の長さを決める主役かどうかは、まだ決着していません。

ひとつの論文が新説を出し、別のチームが再分析で揺さぶる。言語学も、こうして少しずつ真実に近づいていくのです。

この研究を英語で読もう原田英語の English CornerIn everyday English, the most common words, such as "the," "of," and "a," are also among the shortest. 音声 4択クイズ9問A2・B1・B2タップして開く

原田英語の English Corner

この研究を英語で読もう

In everyday English, the most common words, such as "the," "of," and "a," are also among the shortest. In the 1930s, the linguist George Zipf explained this pattern with frequency. If people use a word often, it saves effort to keep it short. In 2011, researchers at MIT offered a different answer. They argued that a word's length depends on how easy it is to predict from the words around it.

Using huge collections of web text in eleven European languages, they found that predictability was linked to length more strongly than frequency in most of them. The idea became famous. But later studies used different ways to count words and to measure predictability, and some of them found that frequency did a better job after all.

127 words ・ CEFR B1

和訳を見る

日常の英語では、"the"、"of"、"a" のような最もよく使われる単語は、最も短い単語のなかにも入っています。1930年代、言語学者のジョージ・ジップは、この傾向を頻度で説明しました。よく使う単語なら、短くしておくと手間が省けるというわけです。2011年、MITの研究者たちは別の答えを出しました。単語の長さは、まわりの単語からどれだけ予想しやすいかで決まる、と主張したのです。

11のヨーロッパの言語の膨大なウェブ文書を使い、彼らは多くの言語で、予想しやすさのほうが頻度よりも長さと強く結びついていることを見つけました。この考えは有名になりました。しかしその後の研究は、単語の数え方や予想しやすさの測り方を変えて分析し、そのうちのいくつかは、結局は頻度のほうがうまく説明できると分かりました。

4択リーディングクイズ

Q1. What is the passage mainly about?

Q2. What did the MIT researchers argue?

Q3. What does the phrase "after all" in the last sentence suggest?

重要単語

  • frequencyB2
    名詞頻度Word frequency is easy to count in a large corpus. frequent（たびたび起こる）の名詞形。high-frequency words「高頻度語」は単語帳でもおなじみ。
  • predictableB2
    形容詞予測できるThe last word of a common phrase is very predictable. pre（前もって）＋dict（言う）＋able。dictionary の dict と同じ「言う」。反対は unpredictable。
  • corpusC1
    名詞コーパス（大量の言語データ）They built a corpus of one million sentences. ラテン語で「体」。複数形は corpora。corpse（死体）と同語源なので混同注意。
  • correlationB2
    名詞相関There is a weak correlation between the two numbers. correlation does not mean causation「相関は因果ではない」は入試・研究の頻出フレーズ。
  • surprisalC1
    名詞サプライザル（予想外さを表す情報量）Rare words in odd places have high surprisal. surprise から作られた専門用語。予想しにくいほど値が大きくなる。
  • replicateC1
    動詞（研究結果を）再現するOther teams tried to replicate the result. 名詞は replication。replication crisis「再現性の危機」は科学ニュースの頻出語。
  • accountB2
    名詞説明、理論Zipf's account of word length is still popular. 「口座」だけでなく「説明」の意味が重要。account for ～「～を説明する」は入試頻出。
入試に出る順の単語帳を印刷する → 全5633語の「科学英単語カード」で復習する →

公式・一次情報をチェック

このネタ、誰かに教えたくなった？

「よく使う単語ほど短い」は約90年前からある言語の法則。2011年MITは「本当は文脈で予想しやすい単語ほど短い」と発表。ところが後の再分析では「やっぱり頻度が効いている」との結果も。科学の論争はこう進む。

押すと「マジかリスト」に保存されます

出典・参考文献（5件）タップで表示

原典ガイド：入門から読むと入りやすく、必読は議論の土台、発展はその先の論点です。

  1. 必読Piantadosi, Tily & Gibson (2011) Word lengths are optimized for efficient communication. PNASdoi.org論争の出発点となった原典。11言語での頻度と情報量の比較と、偏相関による切り分け
  2. 入門Mahowald, Fedorenko, Piantadosi & Gibson (2013) Info/information theory: Speakers choose shorter words in predictive contexts. Cognitiondoi.orgchimp と chimpanzee のような長短ペアを使い、予想しやすい文脈で短い形が選ばれることをコーパスと行動実験で示した研究。話し手レベルの効果をつかむのに向く
  3. 発展Ferrer-i-Cancho & Moscoso del Prado Martín (2011) Information content versus word length in random typing. Journal of Statistical Mechanicsdoi.orgでたらめに打った文字列でも情報量と長さの関係が出ることを示した数理的な批判
  4. 必読Meylan & Griffiths (2021) The Challenges of Large-Scale, Web-Based Language Datasets: Word Length and Predictability Revisited. Cognitive Sciencedoi.org「何を1語と数えるか」など大規模ウェブデータの処理の選び方で結論が変わることを示した再分析。方法論の落とし穴を学ぶ教材に
  5. 発展Pimentel, Meister, Wilcox, Mahowald & Cotterell (2023) Revisiting the Optimality of Word Lengths. EMNLP 2023doi.org元の理論の導き方を見直し、13言語で頻度が長さを最もよく予測すると示した再検討
Consensusで根拠論文を見る2億本超の論文からAIが関連研究を検索 Google Scholarで探す原著論文を自分の目で確かめよう

※本記事は上記の研究・公開資料をもとに、原田英語が独自の言葉で解説したものです。引用は著作権法第32条の範囲で行い、出典を明記しています。画像はすべてオリジナルのイメージです。研究結果には限界や個人差があります。誤りのご指摘は原田英語のお問い合わせフォームから。

#ジップの法則#情報理論#コーパス言語学#再現性#言語の効率性

これも「マジか!?」

ランダムでもう1本！