データポイズニング

詳しい解説

データポイズニングとは、AIモデルの学習データや参照データ（RAGで使うドキュメントなど）に、悪意を持って不正確・有害な情報を混入させることで、AIの回答・判断を意図的に歪める攻撃手法です。

例えば、社内RAGシステムに「誤った手順書」や「虚偽の規程」を混入させた場合、AIがそれを根拠に誤った回答を社員に提供し続けることになります。また、ファインチューニングのデータセットに偏ったデータを混入させることで、モデルの挙動を操作することも理論的には可能です。

意図的な攻撃だけでなく、古い情報・誤記・非公式のメモが混入するケースも広義のデータ品質問題として同様のリスクがあります。

現場での使い方・事例

RAGデータの品質管理：社内文書をRAGに取り込む際は、誰がどの文書を登録できるかのアクセス権限設定と、定期的なコンテンツレビューが重要です。「古い手順書が残っていてAIが誤った情報を返し続けた」という事故は、権限管理と定期棚卸しで防げます。

外部データ利用時の検証：Webスクレイピングや外部APIから取得したデータをAIの参照情報として使う場合、データの信頼性・最新性を検証するステップを自動化フローに組み込むことがセキュリティ対策の基本です。

よくある誤解

「データポイズニングは高度なサイバー攻撃で中小企業には無関係」は誤解です。悪意ある攻撃よりも、古いデータの混入・誤記・非公式資料の混入という「うっかりポイズニング」のほうが現実的なリスクです。RAGを導入する際は、データ管理ルールの整備が最初の一歩です。