AIが挙げた文献の18%は実在しなかった。AIの英語の説明も裏を取る
やることは、これだけ
AIの説明に出てきた表現や出典は、辞書や公式ページで確かめる
研究でわかったこと
Walters と Wilder（2023）は、ChatGPT に42の話題で文献レビューを書かせ、636件の引用を調べました。GPT-3.5では55%、GPT-4でも18%が実在しない文献で、実在する文献の引用にも誤りがありました。AIの英文はなめらかなので、誤りがまざっても気づきにくくなります。調べたのは文献の引用で、英語表現の正しさではありませんが、事実の説明や「ネイティブはこう言う」という話にも注意が要ります。
根拠の強さ ★★★☆☆
Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13, 14045.出典を開く ↗今日からのやり方
- AIが「ネイティブはこう言う」と言った表現は、辞書の例文で確かめる
- AIが挙げた本や論文は、題名で検索して実在するか確かめる
- 確かめられなかった情報は、ノートに書かずに保留にしておく
動画とサイトで試す
AIのおかしな失敗から学ぶTED｜The danger of AI is weirder than you think | Janelle Shane
使い方：AIが思いもよらない形で課題を「解いて」しまう例を聞き、AIの説明をそのまま信じない理由をメモします。AIが示した表現は辞書の例文で確かめます。
ニュースの選び方を身につけようTED-Ed｜How to choose your news - Damon Brown
使い方：情報の選び方のヒントをメモし、AIが挙げた本や論文にも当てはめます。題名で検索して実在を確かめ、確かめられない情報は保留にします。
AIが生む「ゴミ情報」とネットの未来Kurzgesagt – In a Nutshell｜AI Slop Is Destroying The Internet
使い方：AIが作る大量の情報の話を英語字幕で見ます。AIが「ネイティブはこう言う」と示した表現は、実際の使用例が見られるサイトで確かめます。