AIは説明できても使えない？ルールを9割以上言えたのに詩の穴うめで失敗

AI chatbots can often explain a rule correctly but fail to use it, researchers have found. The researchers call this problem potemkin understanding.

AIのチャットボットは、ルールを正しく説明できても、そのルールを使うのに失敗することがよくある、と研究者たちが明らかにしました。研究者たちは、この問題を「ポチョムキン理解」とよんでいます。

The team was from Harvard University, MIT and the University of Chicago. They tested seven AI models on 32 ideas from three subjects, including poetry. The models explained the ideas correctly 94.2 percent of the time. But they often failed to use those ideas.

研究チームは、ハーバード大学、MIT（マサチューセッツ工科大学）、シカゴ大学の人たちです。チームは、7つのAIを、詩をふくむ3つの分野の32のことがらで試しました。AIがことがらを正しく説明できたのは、94.2％でした。でも、そのことがらを使うのには、よく失敗しました。

In one test, the AI GPT-4o explained the ABAB rhyme pattern well. In this pattern, lines one and three rhyme, and lines two and four rhyme. Then it had to fill a gap in a short poem. The word had to rhyme with "out," but the AI chose "soft." Later, it said that "out" and "soft" do not rhyme. When the poem was tried again recently, the chatbot passed.

あるテストでは、GPT-4oというAIが、ABABという韻のふみ方をうまく説明しました。この形では、1行目と3行目、2行目と4行目が韻をふみます。次に、AIは短い詩の空らんをうめなければなりませんでした。そのことばは out と韻をふむ必要があったのに、AIは soft を選びました。あとでAIは、out と soft は韻をふまない、と答えました。最近この詩でもう一度ためしたときは、チャットボットは合格しました。

This study was about AI, not about how people learn. To check understanding, the team did more than ask for definitions. The AI also had to judge examples, make new ones and edit them.

この研究はAIについてのもので、人の学び方を調べたものではありません。わかっているかどうかを確かめるため、チームは意味を説明させるだけではありませんでした。AIに、例が正しいかを見分けさせ、新しい例を作らせ、例を直させることもしました。

Large language models, the AI behind chatbots such as ChatGPT, can often explain a concept correctly and still fail to apply it, researchers have found. The team calls this gap potemkin understanding. The name refers to Potemkin villages, fake fronts built to look real with nothing behind them.

ChatGPTのようなチャットボットのもとになっているAI「大規模言語モデル」は、ある考え方を正しく説明できても、それを使うのに失敗することがよくある、と研究者たちが明らかにしました。研究チームは、このずれを「ポチョムキン理解」とよんでいます。この名前は、ポチョムキン村からきています。後ろに何もないのに、本物らしく見せるために建てた見せかけの建物のことです。

The study was written by Marina Mancoridis and Sendhil Mullainathan of the Massachusetts Institute of Technology, Keyon Vafa of Harvard University and Bec Weeks of the University of Chicago. It was posted online in June 2025 and presented at the International Conference on Machine Learning that year. The researchers tested seven models, including GPT-4o, on 32 concepts. The concepts came from three fields: techniques used in literature, game theory and biases in human thinking.

この研究は、マサチューセッツ工科大学のマリナ・マンコリディスさんとセンディル・ムッライナタンさん、ハーバード大学のキーオン・ヴァファさん、シカゴ大学のベック・ウィークスさんが書きました。研究は2025年6月にインターネットで公開され、同じ年の機械学習の国際会議（ICML）で発表されました。研究者たちは、GPT-4oをふくむ7つのAIを、32の考え方で試しました。考え方は、文学で使われる技法、ゲーム理論、人の考え方のかたより、の3つの分野から選ばれました。

When asked for definitions, the models were right 94.2 percent of the time. However, even after defining a concept well, they often failed to use it correctly. The paper says these failures appeared across every model and field the team tested.

定義をたずねられると、AIは94.2％正しく答えました。しかし、考え方をうまく定義したあとでも、それを正しく使うのにはよく失敗しました。論文によると、こうした失敗は、チームが試したすべてのAIと分野で見られました。

In one example, GPT-4o correctly explained the ABAB rhyme pattern, in which the rhymes alternate from line to line. The model was then shown a four-line poem with a blank in the third line. The missing word had to rhyme with "out," the last word of the first line. It suggested "soft," which does not rhyme with "out." Yet when asked whether the two words rhyme, it correctly answered no. When the example was tried again recently, the chatbot passed, Science News Explores reported.

論文にある例の1つでは、GPT-4oが、1行ごとに韻が交互になるABABという韻のふみ方を正しく説明しました。次にAIは、3行目に空らんのある4行の詩を見せられました。空らんのことばは、1行目の最後のことば out と韻をふむ必要がありました。AIは soft を出しましたが、これは out と韻をふみません。それなのに、この2つのことばが韻をふむかと聞かれると、正しく「ふまない」と答えました。Science News Explores によると、最近この例をもう一度ためしたところ、チャットボットは合格しました。

The researchers argue that tests made for humans, like AP exams, work as valid tests of AI only if AI's mistakes about concepts look like human mistakes. The study tested AI models, not human learners.

研究者たちは、AP試験のように人のために作られたテストがAIのテストとして正しく使えるのは、AIの考え方のまちがい方が人のまちがい方と似ているときだけだ、と主張しています。この研究が調べたのはAIで、人の学び手ではありません。

To see whether a model really understood a concept, the team did not stop at definitions. It also asked each model to judge whether examples fit the concept, to create new ones and to edit examples so they would fit or not fit.

AIが本当に考え方を理解しているかを確かめるため、チームは定義だけで終わりにしませんでした。それぞれのAIに、例がその考え方に合っているかを見分けさせ、新しい例を作らせ、例を合うように、または合わないように直させることもしました。