data poisoning

SUMMARY

意味と背景

AIが学習するデータに、わざと誤ったデータや細工したデータを混ぜ、AIの判断をゆがめたり、特定の条件で誤作動するよう仕込んだりする攻撃のこと。ニュースでは、AIの安全性やサイバー攻撃の話題で使われる。ネット上の大量の文章を集めて学習するAIが増え、防ぐ難しさが指摘されている。

EXAMPLES

1. 1

   Data poisoning is a threat to AI.

   データポイズニングはAIにとって脅威だ。

   再生ゆっくりコピー
2. 2

   Researchers showed that a small amount of manipulated text could be enough to carry out a data poisoning attack on a chatbot.

   研究者たちは、ごくわずかな細工した文章で、チャットボットへのデータポイズニング攻撃が成り立ちうることを示した。

   再生ゆっくりコピー
3. 3

   To prevent data poisoning, developers need to check where their training data comes from.

   データポイズニングを防ぐには、開発者は学習データの出どころを確かめる必要がある。

   再生ゆっくりコピー

COLLOCATIONS

よく一緒に使う表現

• a data poisoning attackデータポイズニング攻撃
• defend against data poisoningデータポイズニングから守る
• be vulnerable to data poisoningデータポイズニングに弱い

SYNONYMS

ほかの言い方

TRIVIA

豆知識

poison は「毒」、poisoning は「毒を入れること、中毒」で、food poisoning（食中毒）と同じ形。特定の合言葉が入ったときだけおかしな動きをするよう仕込むものは backdoor（裏口）攻撃と呼ばれる。AIへの入力文に命令を紛れ込ませる prompt injection は、学習の段階ではなく使う段階を狙う点で違う。一方で、画像生成AIに作品を勝手に学習されないよう、画家が自分の画像にわざと細工する対抗策もあり、「毒」の使い道をめぐって議論がある。

QUIZ

1問チャレンジ

日本語から引く

ジャンル