2026年11月2日（月）マイページ
← 記事にもどる 中学生版高校生版 Word

「印刷する」→ 送信先で「PDFに保存」を選ぶと PDF になります。解答は最後のページです。

原田英語の時事英語ジュニア｜英語ニュース ワークシート（高校生レベル）

Class ____ No. ____ Name ____________________

AIは説明できても使えない？ルールを9割以上言えたのに詩の穴うめで失敗

AI Models Can Define Concepts but Often Fail to Apply Them

音声・ゲームはこちらから

1Large language models, the AI behind chatbots such as ChatGPT, can often explain a concept correctly and still fail to apply it, researchers have found. The team calls this gap potemkin understanding. The name refers to Potemkin villages, fake fronts built to look real with nothing behind them.

2The study was written by Marina Mancoridis and Sendhil Mullainathan of the Massachusetts Institute of Technology, Keyon Vafa of Harvard University and Bec Weeks of the University of Chicago. It was posted online in June 2025 and presented at the International Conference on Machine Learning that year. The researchers tested seven models, including GPT-4o, on 32 concepts. The concepts came from three fields: techniques used in literature, game theory and biases in human thinking.

3When asked for definitions, the models were right 94.2 percent of the time. However, even after defining a concept well, they often failed to use it correctly. The paper says these failures appeared across every model and field the team tested.

4In one example, GPT-4o correctly explained the ABAB rhyme pattern, in which the rhymes alternate from line to line. The model was then shown a four-line poem with a blank in the third line. The missing word had to rhyme with "out," the last word of the first line. It suggested "soft," which does not rhyme with "out." Yet when asked whether the two words rhyme, it correctly answered no. When the example was tried again recently, the chatbot passed, Science News Explores reported.

5The researchers argue that tests made for humans, like AP exams, work as valid tests of AI only if AI's mistakes about concepts look like human mistakes. The study tested AI models, not human learners.

6To see whether a model really understood a concept, the team did not stop at definitions. It also asked each model to judge whether examples fit the concept, to create new ones and to edit examples so they would fit or not fit.

Words　単語

defineB1動～の意味をはっきり言う、定義するto say exactly what a word or idea means
conceptB1名考え方、概念a general idea about what something is
applyA2動～を当てはめる、使うto use an idea or rule in a real case
fakeB1形にせの、見せかけのmade to look real but not real
techniquesB1名技法、やり方（technique の複数形）special ways of doing something well
biases外名かたより、思いこみ（bias の複数形）ways of thinking that lean to one side unfairly
alternateB2動交互に起こる、かわるがわる来るto take turns, one after the other
argueA2動（理由をあげて）主張するto give reasons for what you believe
validB2形正しく使える、有効なgood enough to be used and trusted
presentedA1動発表した（present の過去分詞）showed or talked about your work to a group

単語のレベル：CEFR-J（『CEFR-J Wordlist Version 1.6』 東京外国語大学投野由紀夫研究室. （URL: https://www.cefr-j.org/download.html より 2026年8月ダウンロード））

1. Reading Quiz　本文の内容に合うものを選ぼう

  1. What does the name potemkin understanding refer to?

    A. A famous poemB. Potemkin villages, fake fronts built to look realC. The name of an AI modelD. A game theory test

  2. Which of these was NOT one of the three fields?

    A. Game theoryB. Techniques used in literatureC. Biases in human thinkingD. Space science

  3. What did GPT-4o do when asked whether "out" and "soft" rhyme?

    A. It correctly answered no.B. It said yes.C. It refused to answer.D. It wrote a new poem.

  4. According to the researchers, when do tests made for humans work as valid tests of AI?

    A. When the AI is very largeB. When the exam is about poemsC. Only if AI's mistakes about concepts look like human mistakesD. Only if the AI gets 94.2 percent right

  5. What happened when the poem example was tried again recently?

    A. The chatbot chose "soft" again.B. The test was stopped.C. The researchers changed the rule.D. The chatbot passed.

2. True or False　正しければ T、違っていれば F

  1. (     ) The researchers tested seven models on 32 concepts.

  2. (     ) The models gave correct definitions less than half of the time.

  3. (     ) In the poem, the missing word was in the third line.

  4. (     ) The study tested how human students learn rules.

3. Fill in the Blanks　下の語から選んで空らんをうめよう（形を変えずに）

fakedefinitionsalternateconcepttechniquesargue

  1. When asked for _____, the models were right 94.2 percent of the time.

  2. The concepts came from three fields: _____ used in literature, game theory and biases in human thinking.

  3. The name refers to Potemkin villages, _____ fronts built to look real with nothing behind them.

  4. The researchers _____ that tests made for humans, like AP exams, work as valid tests of AI only if AI's mistakes about concepts look like human mistakes.

  5. Large language models, the AI behind chatbots such as ChatGPT, can often explain a _____ correctly and still fail to apply it, researchers have found.

  6. In one example, GPT-4o correctly explained the ABAB rhyme pattern, in which the rhymes _____ from line to line.

4. Word Order　語を並べかえて正しい文にしよう

  1. ( human / AI / models, / The / study / not / learners / tested ) .

  2. ( "soft," / not / suggested / with / It / rhyme / "out." / does / which ) .

  3. ( potemkin / gap / understanding / this / calls / team / The ) .

5. Think and Write　英語で答えてみよう

  1. Should students use AI to help with homework? Give your opinion and reasons.（生徒は宿題の手助けにAIを使うべきだと思いますか？意見と理由を言いましょう。）

  2. Do you think being able to explain a rule shows that you understand it? Why or why not?（ルールを説明できることは、そのルールをわかっている証拠だと思いますか？理由も言いましょう。）

Answers　解答

1. (1) B　(2) D　(3) A　(4) C　(5) D

2. (1) T　(2) F　(3) T　(4) F

3. (1) definitions　(2) techniques　(3) fake　(4) argue　(5) concept　(6) alternate

4.

  1. The study tested AI models, not human learners.
  2. It suggested "soft," which does not rhyme with "out.".
  3. The team calls this gap potemkin understanding.

全文訳

1ChatGPTのようなチャットボットのもとになっているAI「大規模言語モデル」は、ある考え方を正しく説明できても、それを使うのに失敗することがよくある、と研究者たちが明らかにしました。研究チームは、このずれを「ポチョムキン理解」とよんでいます。この名前は、ポチョムキン村からきています。後ろに何もないのに、本物らしく見せるために建てた見せかけの建物のことです。

2この研究は、マサチューセッツ工科大学のマリナ・マンコリディスさんとセンディル・ムッライナタンさん、ハーバード大学のキーオン・ヴァファさん、シカゴ大学のベック・ウィークスさんが書きました。研究は2025年6月にインターネットで公開され、同じ年の機械学習の国際会議（ICML）で発表されました。研究者たちは、GPT-4oをふくむ7つのAIを、32の考え方で試しました。考え方は、文学で使われる技法、ゲーム理論、人の考え方のかたより、の3つの分野から選ばれました。

3定義をたずねられると、AIは94.2％正しく答えました。しかし、考え方をうまく定義したあとでも、それを正しく使うのにはよく失敗しました。論文によると、こうした失敗は、チームが試したすべてのAIと分野で見られました。

4論文にある例の1つでは、GPT-4oが、1行ごとに韻が交互になるABABという韻のふみ方を正しく説明しました。次にAIは、3行目に空らんのある4行の詩を見せられました。空らんのことばは、1行目の最後のことば out と韻をふむ必要がありました。AIは soft を出しましたが、これは out と韻をふみません。それなのに、この2つのことばが韻をふむかと聞かれると、正しく「ふまない」と答えました。Science News Explores によると、最近この例をもう一度ためしたところ、チャットボットは合格しました。

5研究者たちは、AP試験のように人のために作られたテストがAIのテストとして正しく使えるのは、AIの考え方のまちがい方が人のまちがい方と似ているときだけだ、と主張しています。この研究が調べたのはAIで、人の学び手ではありません。

6AIが本当に考え方を理解しているかを確かめるため、チームは定義だけで終わりにしませんでした。それぞれのAIに、例がその考え方に合っているかを見分けさせ、新しい例を作らせ、例を合うように、または合わないように直させることもしました。

文法ポイント：前置詞＋関係代名詞（in which ～）

in which は「その中で～」という意味で、前の名詞を説明する。本文の the ABAB rhyme pattern, in which the rhymes alternate from line to line は「ABABという韻のふみ方、つまりその中では韻が1行ごとに交互になる形」という意味。in which は where に近い働きをする。

出典：Science News Explores、arXiv ほか（記事は原田英語の時事英語ジュニアのオリジナル）｜https://www.haradaeigo.com/jijieigo-junior/news/2026-10-31-ai-explains-rules-cant-use/