投稿者 global-ai-media 
企業のAI活用において外部データや社内文書を参照させる手法（RAG）が定着しつつあります。一方で、参照元データに悪意ある情報を混入させてAIの回答を操る「データポイズニング」の容易さが専門家から指摘されており、日本企業におけるデータ管理とガバナンスの見直しが急務となっています。
AIの回答を意図的に操る「データポイズニング」とは
大規模言語モデル（LLM）を自社の業務効率化やサービス開発に組み込む際、現在の主流となっているのが「RAG（検索拡張生成）」と呼ばれる技術です。これは、LLMが元々持っている知識だけでなく、社内マニュアルやウェブ上の最新情報を検索・参照させることで、事実に基づいた回答を生成させる仕組みです。ハルシネーション（AIが事実と異なるもっともらしい嘘をつく現象）を抑止し、専門的な業務に対応させるための有効な手段として、多くの日本企業が導入を進めています。
しかし、海外の最新のサイバーセキュリティ研究や報道において、この仕組みを逆手にとった「データポイズニング（毒入れ）」の容易さが警告されています。データポイズニングとは、AIが学習または参照するデータセットの中に、攻撃者が意図的に誤った情報や悪意のある指示（毒）を混入させるサイバー攻撃の一種です。特にRAGの仕組みを狙ったものは「検索ポイズニング（Retrieval Poisoning）」とも呼ばれ、AIプロバイダーやユーザー企業にとって看過できないリスクとなっています。
検索ポイズニングの仕組みと「簡単すぎる」理由
従来のデータポイズニングは、基盤モデルの膨大な事前学習データに毒を混入させる必要があり、実行のハードルが高いとされていました。しかし、RAG環境下での検索ポイズニングは、AIが回答を生成する直前に参照する「比較的小さなデータベース」や「特定のウェブページ」をターゲットにするため、攻撃が成立しやすいという特徴があります。
例えば、AIチャットボットが顧客からの質問に答える際、外部のウェブサイトを自動検索して情報をまとめる仕様になっていたとします。攻撃者が検索順位の高いウェブサイトを改ざんしたり、AIを騙すための不可視テキストを埋め込んだページを用意したりするだけで、AIはその「毒」を読み込み、不適切な回答やフィッシングサイトへの誘導リンクをユーザーに出力してしまう可能性があります。専門家は、LLMプロバイダーがこの問題に対処し、ユーザーに警告を発する必要性を指摘しています。
日本の組織文化と社内データ連携に潜むリスク
この脅威は、外部ウェブサイトの検索だけでなく、社内向けの業務効率化AIであっても例外ではありません。日本企業の多くは、社内規定、稟議書、過去のプロジェクト資料などをファイルサーバーやクラウドストレージに蓄積し、それをRAGの参照先（データソース）としてAIに連携させています。
ここで懸念されるのが、日本の組織において見られがちな「ファイルサーバーのアクセス権限の曖昧さ」です。部門をまたいだ情報共有を優先するあまり、広範な社員に書き込み・編集権限が付与されているケースが少なくありません。もし内部の人間が悪意を持って（あるいはマルウェア感染やアカウント乗っ取りによって）参照元ファイルに「毒」となる不可視の指示を追記した場合、そのデータを読み込んだ社内AIが、経営層の意思決定を誤らせるようなレポートを生成したり、他の従業員に対して社外の悪意あるシステムへパスワードを入力するよう促す振る舞いをしたりする危険性があります。
システムと運用・ガバナンスの両輪による対策
検索ポイズニングを防ぐためには、AIシステム側の対策だけでなく、企業としてのデータガバナンスが不可欠です。システム面では、AIに参照させるデータの範囲を必要最小限に絞り込むこと、ウェブ検索を許可する場合は信頼できるドメインに限定すること、そして出力結果に不自然なURLや指示が含まれていないかをフィルタリングする仕組みの導入が求められます。
運用面では、「ゼロトラスト」の考え方に基づき、社内データに対するアクセス権限を厳格に管理・細分化することが重要です。また、AIの出力結果を最終的に確認し、業務上の責任を持つのは「人間（Human in the loop）」であるという原則を社内のAI利用ガイドラインに明記し、従業員のAIリテラシー教育を継続的に行う必要があります。
日本企業のAI活用への示唆
・RAGの参照元データの「品質と安全性」を再評価する： AIの回答精度や安全性は、参照するデータの健全性に直結します。社内データを利用する場合は、ファイルサーバーのアクセス権限やデータ更新の履歴管理が適切に行われているか、セキュリティ監査の対象に含めるべきです。
・外部データを盲信させないシステム設計： インターネット上の情報を動的に検索・要約するサービスを展開する場合、意図的な検索ポイズニングによるブランド毀損リスク（レピュテーションリスク）を想定したテストと、悪意あるプロンプトへの防御機構（ガードレール）の組み込みが必須です。
・「正しく疑う」組織文化の醸成： データポイズニングによるAIの出力は、文脈として非常に自然に生成されることが多く、人間が誤りに気づきにくいという特徴があります。業務へのAI組み込みを進めると同時に、「AIの出力には悪意ある操作が介入し得る」という前提に立ち、重要な意思決定においては複数の情報源によるクロスチェックを義務付けるなど、実務に即したガバナンス体制を構築することが求められます。