AIによる概要、事実の約9つに1つは出典で裏づけなし　5万件以上の検索で調査

A new study has checked Google's AI search summaries. About one in nine facts in them were not backed up by the sources they listed. These summaries are called AI Overviews. They often appear at the top of the search page.

新しい研究が、グーグル検索のAIの要約を調べました。要約の中の事実の約9つに1つは、要約がのせた出典で裏づけられていませんでした。この要約は「AIによる概要」と呼ばれています。検索ページのいちばん上によく出てきます。

Researchers at Washington University in St. Louis did the study. They ran more than 55,000 searches for popular words and phrases on Google. Then they checked the facts in the summaries against the web pages that the AI cited.

セントルイスにあるワシントン大学の研究者たちが、この研究をしました。研究者たちは、話題になっている言葉で、グーグルの検索を5万5000回以上しました。そして、要約の中の事実を、AIが出典としてあげたウェブページとくらべて確かめました。

Most of the problems were facts that were missing from the sources. Fewer problems were facts that said the opposite of a source. The team used another AI program to help check the facts.

問題の多くは、出典に書かれていない事実でした。出典と反対のことを言う事実だった問題は、それより少なめでした。チームは、事実を確かめるのに別のAIのプログラムも使いました。

The summaries showed up more often for searches written as questions. They appeared for about 65 percent of questions but only about 10 percent of simple keyword searches. The study has been shared online as a preprint.

要約は、質問の形で検索したときによく出ました。質問の形では約65％で出ましたが、ふつうのキーワードの検索では約10％だけでした。この研究は、プレプリント（雑誌などにのる前に、先に公開した論文）としてインターネットで公開されています。

About 11 percent of the factual claims in Google's AI Overviews were not backed up by the pages that the summaries linked to as sources, according to a new study. That is roughly one claim in nine. The study, by Haofei Xu, Umar Iqbal and Jacob M. Montgomery, has been posted online as a preprint. The psychology news site PsyPost reported on it on November 2.

新しい研究によると、グーグルの「AIによる概要」にある事実の主張の約11％は、その要約が出典にあげたウェブページで裏づけられていませんでした。これは、およそ9つに1つの割合です。ハオフェイ・シュー、ウマル・イクバル、ジェイコブ・M・モンゴメリーの3人による研究で、プレプリントとしてインターネットで公開されています。心理学のニュースサイト PsyPost が11月2日にこれを報じました。

The researchers, from Washington University in St. Louis, entered 55,393 trending searches in 19 categories, such as health, sports and politics. They collected the data over 40 days, from March 13 to April 21, 2026. An AI Overview appeared for 13.7 percent of the searches. However, searches written as questions triggered a summary 64.7 percent of the time, compared with 9.5 percent for keyword searches.

セントルイスのワシントン大学の研究者たちは、健康・スポーツ・政治など19の分野で、話題の言葉で5万5393回検索しました。データは2026年3月13日から4月21日までの40日間で集めました。「AIによる概要」が出たのは、検索の13.7％でした。ただし、質問の形で書いた検索では64.7％で要約が出て、キーワードの検索の9.5％を上回りました。

The team split the summaries into 98,020 separate claims and checked each one against the pages it cited. Another AI system, known as a large language model, did this checking. Most of the problems were cases where the summary said something that its source never mentioned. Researchers call this an omission. A smaller number directly contradicted the source.

チームは要約を9万8020の別々の主張に分け、1つずつ、出典のページとくらべて確かめました。この確認は、大規模言語モデルと呼ばれる別のAIが行いました。問題の多くは、要約が、出典にまったく書かれていないことを言っていたというものでした。研究者は、これを「抜け」と呼びます。出典とはっきり食いちがうものは、それより少ない数でした。

The study rated the cited websites as more credible than the regular results on the first page. Yet how trustworthy a source was did not predict, in statistical terms, whether the summary got it right. Summaries about health and politics were more accurate than summaries on entertainment or tech topics.

出典にあげられたサイトは、ふつうの検索結果の1ページ目より、信頼できると評価されていました。それなのに、出典がどれだけ信頼できるかで、要約が正しく伝えたかどうかを統計的に見分けることはできませんでした。健康や政治についての要約は、エンタメや技術についての要約より正確でした。

The authors noted some limits. Live information, such as current temperatures, may have changed before the team read a page. Sites that require a login or block automatic visits were left out of the accuracy checks. The study also measured only what the system wrote, not how people reacted to it.

著者たちは、いくつかの限界もあげました。いまの気温のような刻々と変わる情報は、チームがページを読む前に変わっていたかもしれません。ログインが必要なサイトや、自動のアクセスを断るサイトは、正確さの確認から外されました。また、この研究が調べたのはシステムが書いた内容だけで、人がそれにどう反応したかではありません。