AI用語集へリスク管理・ガバナンス
ハルシネーション(幻覚)
Hallucination
X投稿テキスト
ハルシネーションとは、AIが「もっともらしいが事実と異なる情報」を生成してしまう現象。嘘をついている自覚がないため、文章が流暢で気づきにくいのが厄介。RAGや出所確認の習慣、ダブルチェック運用が対策の基本。 #ジェネサプ #AI用語
詳しい解説
AIは「次に来る言葉として確率的に自然なもの」を生成します。この仕組みの副作用として、事実かどうかに関係なく「それらしい情報」が出てきてしまうことがあります。これをハルシネーション(幻覚)と呼びます。
特に厄介なのは、出力の文体や構成が正確な情報のときと変わらない点です。誤った情報でも自信満々な文章で書かれるため、読んだ人が気づきにくくなっています。
現場での使い方・事例
ハルシネーションは「ゼロにする」のではなく「前提として運用に織り込む」のが現実的です。
具体的な対策として、①回答に参照元URLや出典を付けさせる、②重要な判断に使う情報は必ず人間が原典を確認する、③RAGを使って参照範囲を限定する、の3点が基本になります。
社内向けの文書作成補助など、最終的に人間がレビューする用途では大きな問題になりにくい一方、顧客に直接見せる回答の自動生成などはリスクが高いため、用途によって許容レベルを分けることが重要です。
よくある誤解
「新しいモデルになればハルシネーションはなくなる」という誤解があります。最新モデルでは頻度は下がっていますが、構造的にゼロにはなりません。完全な自動化を目指す前に、まずハルシネーションが起きたときの影響を最小化する設計を考えることが先決です。
代表的なツール・サービス
Perplexity AINotebookLMDify