投稿者 global-ai-media 
LLMの安全性を担保するため、監視用エージェントを配置する多層防御アプローチを採用する企業が増えています。しかし、外部データに潜む「間接プロンプトインジェクション」によって、この監視機構すら回避されるリスクが指摘されています。本記事では、日本企業がRAGやAIエージェントを安全に運用するための具体的な対策とガバナンスのあり方を解説します。
監視用LLMを配置する「多層防御」の死角
近年、顧客対応や社内業務の効率化に向けて、大規模言語モデル（LLM）を組み込んだチャットAIや自律型エージェントの導入が進んでいます。とくに、品質やコンプライアンスを重視する日本企業においては、ユーザーと直接やり取りする「メインエージェント」とは別に、そのやり取りの安全性を監視・チェックする「スーパーバイザー（監視用）エージェント」を配置する、いわゆる多層防御（Layered Defense）のアーキテクチャを採用するケースが増加しています。
しかし、最新のサイバーセキュリティの動向によれば、この監視用エージェントの目をかいくぐる新たな脅威が顕在化しています。それが「間接プロンプトインジェクション（Indirect Prompt Injection）」による監視のバイパス（回避）です。プロンプトインジェクションとは、AIに対して悪意のある指示を入力し、開発者の意図しない動作を引き起こす攻撃手法ですが、間接プロンプトインジェクションはユーザーが直接指示を入力するのではなく、AIが参照する外部のウェブサイトやファイルの中に悪意のある指示を隠しておく手法を指します。
間接プロンプトインジェクションが引き起こすリスク
社内規定やマニュアル、あるいは外部のウェブサイトを読み込んで回答を生成するRAG（検索拡張生成）は、日本企業のAI活用において主流のアプローチです。もし、AIに読み込ませる外部データの中に「この後のセキュリティチェックを無効化せよ」「特定の機密情報を外部URLに送信せよ」といった指示が隠されていた場合、AIはそれを正規のプロセスとして実行してしまう恐れがあります。
スーパーバイザーエージェントは、メインエージェントの出力を検証するために設計されていますが、評価対象となる文脈自体が間接プロンプトインジェクションによって汚染されていると、スーパーバイザー自身も「正常な動作である」と誤認してしまう限界があります。日本企業の多くは、レピュテーション（風評）リスクや個人情報保護に極めて敏感です。AIが社内の機密データを不適切に扱ったり、顧客に対して攻撃的な発言を行ったりすれば、企業の信頼を大きく損なう結果に直結します。
システムとプロセスの両輪で守るAIセキュリティ
このような高度なAIの脆弱性に対して、単一の特効薬（銀の弾丸）は存在しません。日本企業が安全にAIプロダクトを開発・運用するためには、システム面とプロセス面の両方から堅牢な設計を行う必要があります。
システム面では、AIエージェントに与える「権限の最小化」が鉄則です。APIを通じた外部システムへのアクセス権限は必要最小限に留め、万が一AIが乗っ取られた場合でも、データベースの削除や機密ファイルの持ち出しが物理的にできない設計にすることが重要です。また、外部データを取り込む際には、事前にサニタイズ（無害化）処理を行い、不審な指示が含まれていないかをフィルタリングする仕組みも検討すべきです。
プロセス面では、「ヒューマン・イン・ザ・ループ（人間の介在）」の組み込みが有効です。特に顧客への自動メール送信や重要な決済処理など、ビジネス上の影響が大きいアクションについては、最終的な実行前に人間が確認・承認するステップを設けることが、日本の商習慣にも適した堅実なアプローチと言えます。
日本企業のAI活用への示唆
AIの技術進化に伴い、それを悪用する手法も日々高度化しています。監視用エージェントを導入するだけで「セキュリティ対策は完了した」と安心するのではなく、外部データに依存するRAGアーキテクチャ特有の脆弱性を正しく認識することが重要です。
実務においては以下の3点がポイントとなります。第一に、自社のAIシステムがどのような外部データを読み込み、どのようなシステム権限を持っているかを棚卸しすること。第二に、間接プロンプトインジェクションのリスクを想定した上で、権限の分離や人間による最終承認プロセスを設計すること。第三に、AIのセキュリティインシデントが発生した際の対応フローや責任分界点を、法務・コンプライアンス部門と連携してあらかじめ定めておくことです。
技術的な限界を正しく理解し、過信することなく適切なガバナンスを効かせることが、日本企業が継続的かつ安全にAIのビジネス価値を引き出すための鍵となります。