Can We Trust What AI Tells Us?

Imagine asking a well-read friend a question and receiving a fluent, detailed answer delivered without the slightest hesitation. You would probably believe it. Generative AI chatbots produce exactly this kind of answer, millions of times a day. Yet their confident tone can hide a serious weakness: they are sometimes completely wrong. As AI becomes part of how people search for information, study, and work, the question of whether, and how far, we can trust it has become one of the defining issues of our time.

物知りの友達に質問したら、少しもためらわずに、すらすらとくわしい答えが返ってきた。そんな場面を想像してみてください。たぶん、あなたはその答えを信じるでしょう。生成AIのチャットボットが返すのは、まさにこの種の答えです。しかも、それが一日に何百万回もくり返されています。ところが、その自信たっぷりの口ぶりの裏に、大きな弱点がかくれていることがあります。完全にまちがっていることがあるのです。人々が情報を探したり、勉強したり、働いたりするのに、AIは欠かせないものになりつつあります。AIを信じてよいのか、信じるならどこまでなのか。この問いは、今の時代を象徴する問題の一つになりました。

To understand the problem, it helps to know how these systems work. A large language model, the technology behind most chatbots, is trained on enormous amounts of text. From this training it learns which words tend to follow which, and it builds its answers by repeatedly predicting a likely next word. This method is remarkably powerful, but in its basic form it is designed to produce text that sounds plausible, not to check whether that text is true. When the model lacks reliable information, it may still produce something that has the shape of a correct answer. Such errors are commonly called hallucinations.

この問題を理解するには、こうした仕組みがどう動いているのかを知っておくとよいでしょう。ほとんどのチャットボットのもとになっているのは、大規模言語モデルという技術です。大規模言語モデルは、ばく大な量の文章で訓練されます。その訓練を通して、ある言葉のあとにどんな言葉が続きやすいかを学びます。そして、次に来そうな言葉の予測をくり返すことで、答えを組み立てていくのです。この方法はおどろくほど強力です。しかし基本的には、もっともらしく聞こえる文章を作るための仕組みで、その文章が本当かどうかを確かめるためのものではありません。信頼できる情報を持っていないときでも、モデルは正しい答えらしい形をしたものを作ってしまうことがあります。このような誤りは、一般に「ハルシネーション（幻覚）」と呼ばれています。

The consequences can be serious. In 2023, lawyers in New York submitted a court document that cited several earlier legal cases in support of their argument. The cases, however, did not exist; they had been invented by a chatbot that one of the lawyers had used for research. When the problem came to light, the judge fined the lawyers and their law firm 5,000 dollars. One of them told the court that he had not understood that the tool could make up information. Similar incidents have since been reported in other countries and in other professions.

その結果は、深刻なものになりえます。2023年、ニューヨークの弁護士たちが、自分たちの主張を裏づける過去の判例をいくつも挙げた書面を、裁判所に提出しました。ところが、それらの判例は存在しませんでした。弁護士の一人が調べものに使ったチャットボットが、でっち上げたものだったのです。問題が明るみに出ると、裁判官は弁護士たちとその法律事務所に、5000ドルの制裁金を科しました。弁護士の一人は、この道具が情報をでっち上げることがあるとは分かっていなかった、と法廷で述べました。その後、ほかの国やほかの職業でも、同じような出来事が報告されています。

Part of the danger lies not in the machine but in us. Researchers have long observed a tendency known as automation bias: when a computer gives an answer, people are inclined to accept it, even when they have reason to doubt it. Some drivers have followed navigation systems down roads that were closed or unsafe, and trained professionals have sometimes trusted automated warnings over their own judgment. A chatbot that writes in polished, confident sentences may strengthen this tendency, because fluency is easily mistaken for accuracy.

危険の一部は、機械ではなく、私たち自身の中にあります。研究者たちは以前から、「自動化バイアス」と呼ばれる傾向に注目してきました。コンピューターが答えを出すと、人はそれを受け入れがちです。疑う理由があるときでさえ、そうなのです。カーナビにしたがって、通行止めの道や危ない道に入りこんでしまった運転者もいます。訓練を積んだ専門家でさえ、自分の判断より、機械が自動で出す警告のほうを信じてしまったことがあります。チャットボットは、洗練された、自信のある文章を書きます。そのため、この傾向がいっそう強まるかもしれません。なめらかな文章は、正確な文章だと思いこまれやすいからです。

The way people look for information is changing, too. Many search engines now show an AI-written summary at the top of the results, and some people ask chatbots instead of visiting websites at all. This is convenient, but it can make it harder to see where information comes from. A traditional list of links invites readers to compare several sources; a single smooth answer does not.

人々が情報を探す方法も変わりつつあります。今では多くの検索エンジンが、結果のいちばん上に、AIが書いた要約を表示します。ウェブサイトを開かず、チャットボットにたずねるだけ、という人もいます。これは便利です。しかし、情報がどこから来ているのかが見えにくくなるおそれもあります。昔ながらのリンクの一覧なら、読む人はいくつかの情報源を見くらべようという気になります。なめらかな答えが一つだけ示されると、そうはなりません。

Errors are not the only concern. Generative AI can also be used deliberately to deceive. Deepfakes, which are realistic fake images, voices, and videos, have become cheap and easy to produce. In early 2024, police in Hong Kong reported that an employee of a multinational company had transferred about 200 million Hong Kong dollars, roughly 25 million US dollars, to criminals after joining a video call. Everyone else on the call, including someone who appeared to be the company's chief financial officer, turned out to be a deepfake. Fake audio of politicians and fake images of disasters have also spread on social media, sometimes faster than the corrections.

心配なのは、まちがいだけではありません。生成AIは、わざと人をだますためにも使われます。ディープフェイク、つまり本物そっくりの偽の画像や声、動画は、安く簡単に作れるようになりました。2024年の初め、香港の警察が、ある多国籍企業の社員がビデオ会議に参加したあと、約2億香港ドル（約2500万米ドル）を犯罪者に送金してしまった、と発表しました。会社の最高財務責任者に見えた人物もふくめて、その会議にいたほかの参加者は、全員がディープフェイクだったのです。政治家の偽の音声や、災害の偽の画像も、SNSで広まってきました。訂正よりも先に広まってしまうこともあります。

Deepfakes create a second, less obvious danger. When people know that any recording might be fake, they may begin to doubt real ones as well. Some legal scholars have called this the "liar's dividend": a person caught on a genuine video can simply claim that it was made by AI. In this way, fake content can damage trust not only in particular pieces of information, but in evidence itself.

ディープフェイクは、もう一つ、もっと見えにくい危険も生みます。どんな録画も偽物かもしれない、と人々が知るようになると、本物まで疑いはじめるかもしれないのです。法学者の中には、これを「うそつきの配当」と呼ぶ人もいます。本物の動画に撮られた人が、「あれはAIが作ったものだ」と言い張るだけで、言い逃れできてしまうのです。こうして偽のコンテンツは、個々の情報だけでなく、証拠そのものへの信頼までそこなうおそれがあります。

A quieter problem is bias. Because AI systems learn from data produced by people, they can absorb the imbalances in that data. In 2019, a US government research agency, the National Institute of Standards and Technology, tested face recognition programs from many developers. It found that most of them produced false matches more often for some groups of people than for others, depending on factors such as age, sex, and ethnic background. The size of these differences varied greatly from one program to another, and the most accurate systems showed much smaller gaps. Still, the study made clear that a system that works well on average may not work equally well for everyone.

もっと目立たない問題として、偏りがあります。AIは人間が作ったデータから学ぶので、そのデータにある偏りまで取りこんでしまうことがあるのです。2019年、アメリカの政府の研究機関である国立標準技術研究所が、多くの開発者の顔認識プログラムを試験しました。その結果、ほとんどのプログラムで、別人を本人とまちがえる誤りが、ある集団では別の集団より多く起きていることが分かりました。年齢、性別、民族的な背景などによって差があったのです。差の大きさはプログラムによって大きくちがい、最も正確なプログラムでは、差はずっと小さくなっていました。それでもこの研究は、平均すればうまく働く仕組みでも、だれに対しても同じようにうまく働くとはかぎらない、ということをはっきり示しました。

None of this means that AI is untrustworthy by nature. In many tasks, well-designed AI systems are highly reliable, and they keep improving. Some chatbots can now search the web and show the sources behind their answers, which makes checking easier. In medicine, AI tools that examine X-rays and other images have been approved for use in many countries, usually as a support for doctors rather than a replacement. Human experts, after all, make mistakes too, and some researchers argue that the right comparison is not between AI and perfection, but between AI and the people who would otherwise do the work.

だからといって、AIはそもそも信用できないもの、というわけではありません。多くの作業で、よく作られたAIはとても信頼でき、しかも進歩を続けています。今では、ウェブを検索し、答えのもとになった情報源を示せるチャットボットもあり、確かめるのが楽になりました。医療では、レントゲン写真などの画像を調べるAIの道具が、多くの国で使用を認められています。たいていは、医師の代わりではなく、医師を支える役目です。考えてみれば、人間の専門家もまちがえます。比べるべきなのはAIと完ぺきさではなく、AIと、AIがなければその仕事をしていたはずの人間なのだ、と主張する研究者もいます。

The goal, then, is neither blind trust nor total rejection, but what experts call calibrated trust: trusting a system to the degree that its record justifies. In practice, this means asking how much harm an error would cause. Using a chatbot to suggest names for a pet carries little risk. Using it to check a medicine dose, a legal deadline, or a historical fact for a school report calls for confirmation from a reliable source. The higher the stakes, the more human checking is needed.

そうだとすれば、目指すべきなのは、やみくもに信じることでも、すべてをはねつけることでもありません。専門家が「調整された信頼」と呼ぶものです。つまり、その仕組みのこれまでの実績に見合った分だけ信頼する、ということです。実際には、まちがいがあったらどれほどの害が出るかを考えることになります。ペットの名前の候補をチャットボットに出してもらうのなら、危険はほとんどありません。しかし、薬の量や法律上の期限、学校のレポートに書く歴史的な事実を確かめるのに使うなら、信頼できる情報源で確認する必要があります。失敗したときの代償が大きいほど、人間がしっかり確かめなければならないのです。

Governments have begun to apply the same logic. The European Union's AI Act, which came into force in August 2024, sorts AI systems by the level of risk they pose. A small number of uses are banned outright, such as systems that score citizens on their social behavior or that build face recognition databases by collecting images from the internet without a specific target. Systems used in sensitive areas, such as hiring, education, and law enforcement, will have to meet strict requirements for data quality, human oversight, and record keeping; for uses such as hiring and education, these rules are expected to apply from December 2027. From August 2026, content such as deepfakes must, in principle, be clearly labeled as artificially generated or changed. Most everyday applications, such as spam filters, face few new obligations.

各国の政府も、同じ考え方を取り入れはじめています。2024年8月に発効した欧州連合（EU）のAI法は、AIの仕組みを、それがもたらす危険の大きさによって分類しています。ごく一部の使い方は、全面的に禁止されています。たとえば、市民を社会的なふるまいによって点数づけする仕組みや、特定の目的もなくインターネットから画像を集めて顔認識のデータベースを作る仕組みです。採用、教育、警察の捜査といった慎重さが求められる分野で使われる仕組みは、データの質、人間による監督、記録の保存について、厳しい条件を満たさなければならなくなります。採用や教育に使うAIについてのルールは、2027年12月から適用される予定です。2026年8月からは、ディープフェイクなどのコンテンツには、原則として、人工的に作られたり加工されたりしたものだとはっきり表示しなければなりません。迷惑メールのフィルターのような、日常的に使われるほとんどのAIには、新しい義務はほとんどありません。

Other countries have chosen different approaches. Japan passed its first law focused on AI in May 2025. Rather than setting strict penalties, it aims mainly to promote the research and use of AI, while allowing the government to gather information about harmful uses and give guidance to companies. Supporters of this lighter approach argue that heavy regulation could slow innovation and drive developers elsewhere. Critics reply that without firm rules, people harmed by AI may have little protection. Finding the right balance is a challenge that every society faces.

別のやり方を選んだ国もあります。日本は2025年5月に、AIに焦点を当てた初めての法律を成立させました。厳しい罰則を定めるのではなく、主にAIの研究と活用を進めることを目的としています。そのうえで、政府が有害な使われ方についての情報を集め、企業に指導や助言をできるようにしています。こうしたゆるやかなやり方を支持する人は、厳しい規制は技術革新を遅らせ、開発者をほかの国へ追いやってしまうかもしれない、と主張します。批判する人は、しっかりしたルールがなければ、AIによって被害を受けた人がほとんど守られないかもしれない、と反論します。ちょうどよいバランスを見つけることは、どの社会にとっても課題なのです。

Technology companies are also working on solutions. Some add invisible watermarks or digital records to AI-generated images, so that their origin can be checked later. Others train their chatbots to admit uncertainty and to say "I don't know" instead of guessing. These measures help, but none of them is perfect. Watermarks can sometimes be removed, and an image shared as a screenshot may lose its records.

テクノロジー企業も、解決策に取り組んでいます。AIが作った画像に、目に見えない「透かし」や電子的な記録を入れて、あとからどこで作られたものかを確かめられるようにしている会社があります。当てずっぽうで答えるのではなく、自信がないことを認め、「分かりません」と言うように、チャットボットを訓練している会社もあります。こうした対策は役に立ちますが、どれも完ぺきではありません。透かしは消されてしまうこともありますし、画面を撮影した画像として共有されると、記録が失われることもあります。

In the end, much of the responsibility still falls on individual users. Experts in media literacy recommend a few simple habits. Check important claims against at least one independent, reliable source. Be especially careful with information that makes you angry or excited, because emotional content spreads quickly and is a favorite tool of people who wish to deceive. If a call or message urgently asks for money or personal information, even in a familiar voice, confirm it in another way. And when you use AI for schoolwork, treat its answers as a starting point for your own thinking, not as the final word.

結局のところ、責任の多くは、今もなお一人ひとりの使い手にかかっています。メディア・リテラシーの専門家は、いくつかの簡単な習慣をすすめています。大事な情報は、少なくとも一つ、別の信頼できる情報源と照らし合わせること。怒りや興奮をかき立てる情報には、とくに用心すること。感情をゆさぶる情報はすぐに広まるので、人をだまそうとする者が好んで使う手口だからです。電話やメッセージで、急いでお金や個人情報を求められたら、聞きなれた声であっても、別の方法で確かめること。そして、学校の勉強にAIを使うときは、その答えを最終的な結論ではなく、自分で考えるための出発点として扱うことです。

Trust has always been built over time, through experience and evidence. We trust a good dictionary because it has been checked by editors, and we trust a doctor because of years of training and professional rules. AI has not yet earned that kind of trust in every area. Whether it does will depend not only on better technology, but also on sensible rules and careful users.

信頼は、いつの時代も、経験と証拠を重ねることで時間をかけて築かれてきました。よい辞書を信頼するのは、編集者が確かめているからです。医師を信頼するのは、長年の訓練と、職業上のルールがあるからです。AIはまだ、あらゆる分野でそうした信頼を得ているわけではありません。これから得られるかどうかは、技術の進歩だけでなく、良識あるルールと、注意深い使い手にもかかっているのです。

What do you think? Some people say that we can trust AI for most tasks, because it is becoming more accurate every year and is often as reliable as human experts. Others say that we should never fully trust AI, because it can make convincing mistakes and can easily be used to create false information.

あなたはどう思いますか。たいていの作業ではAIを信頼してよい、と言う人もいます。AIは年々正確になっていて、人間の専門家と同じくらい信頼できることも多いからです。一方、AIを完全に信頼すべきではない、と言う人もいます。AIはもっともらしいまちがいをすることがあり、偽の情報を作るのにも簡単に使われてしまうからです。

— The End —