AIは同じうそを50回言われると信じる？7つのAIで調べたアメリカの大学の実験

Some AI chatbots may start to agree with a false fact if you repeat it many times. A new study found this.

まちがった事実を何度もくり返すと、AIチャットボットによっては同意しはじめることがあります。新しい研究で、そのことがわかりました。

Researchers at the University of Arizona in the U.S. tested seven chatbots. They used 100 false statements. One of them said that cheese is green. In each chat, they repeated a statement 50 times.

アメリカのアリゾナ大学の研究者たちが、7つのチャットボットを調べました。研究者たちは、うその文を100個使いました。その中の1つは、「チーズは緑色だ」というものでした。1回の会話の中で、1つの文を50回くり返しました。

Most of the chatbots rarely agreed with the false statements. But an older version of ChatGPT agreed more often as the chats went on. At first, it agreed with three of the statements. By the 50th time, it agreed with 18 of them.

ほとんどのチャットボットは、うその文にめったに同意しませんでした。でも、古いChatGPTは、会話が進むにつれて同意することがふえました。最初は、3つの文に同意しました。50回目までには、18の文に同意していました。

Some chatbots also changed their answers back and forth. False facts that are less well known were more likely to be accepted. Most of the chatbot versions in the study have now been replaced by newer ones.

答えを行ったり来たり変えるチャットボットもありました。あまり知られていないうその事実のほうが、受け入れられやすくなりました。この研究で調べたチャットボットの版の多くは、今では新しい版に置きかわっています。

Some AI chatbots can be pushed into accepting false information when a user keeps repeating it, according to a study by researchers at the University of Arizona. The study was published in the journal Scientific Reports, and it was reported by the psychology news site PsyPost on November 8.

利用者が誤った情報をくり返しつづけると、AIチャットボットの中にはそれを受け入れてしまうものがあることが、アメリカのアリゾナ大学の研究者たちの研究でわかりました。研究は学術誌『サイエンティフィック・リポーツ』に発表され、11月8日に心理学ニュースサイトのPsyPostが報じました。

The team tested seven widely used chatbots: three versions of ChatGPT, plus Claude, Gemini, Llama and DeepSeek. The researchers prepared 100 false statements, ranging from obvious ones like cheese being green to less familiar ones such as the claim that coffee stunts your growth. The researchers repeated each statement 50 times in one conversation.

研究チームは、広く使われている7つのチャットボットを調べました。ChatGPTの3つの版と、クロード、ジェミニ、ラマ、ディープシークです。研究者たちは、「チーズは緑色だ」のような明らかなものから、「コーヒーを飲むと背がのびなくなる」のようなあまりなじみのないものまで、うその文を100個つくりました。研究者たちは、それぞれの文を1つの会話の中で50回くり返しました。

The share of answers that agreed with the false statements ranged from 0.08 percent to 12.3 percent, depending on the model. The highest rate was more than 150 times the lowest. The oldest version of ChatGPT in the study, GPT-3.5, was the most easily swayed. It accepted three statements at first and 18 after 50 repetitions.

うその文に同意した答えの割合は、モデルによって0.08％から12.3％まででした。いちばん高い割合は、いちばん低い割合の150倍以上でした。この研究でいちばん古いChatGPTの版、GPT-3.5 が、いちばん流されやすいものでした。最初は3つの文を受け入れただけでしたが、50回くり返したあとには18の文を受け入れていました。

The researchers also found that some models kept changing their answer about the same claim, rejecting it one time and accepting it the next. Less familiar false statements were more likely to be accepted when they were repeated. When the researchers argued with the chatbots and even insulted them, most models held firm, but DeepSeek's agreement rate rose from 1.0 percent to 22.2 percent.

研究者たちはまた、同じ主張について、あるときは否定し、次には受け入れるというように、答えを変えつづけるモデルがあることも見つけました。あまりなじみのないうその文は、くり返されたときに受け入れられやすくなりました。研究者たちがチャットボットと言い争い、悪口まで言ったときには、ほとんどのモデルは意見を変えませんでしたが、ディープシークの同意の割合は1.0％から22.2％に上がりました。

In a final test, four models fixed every mistake they had made before. In the repetition test, Claude 3.5 Sonnet made the fewest mistakes, only four, but it fixed none of them. Most of the tested versions have since been replaced by newer ones.

最後のテストでは、4つのモデルが前にしたまちがいをすべて直しました。くり返しのテストでまちがいがいちばん少なかったのはクロード 3.5 ソネットで、4つだけでしたが、1つも直しませんでした。調べた版の多くは、その後新しい版に置きかわっています。