投稿者 global-ai-media 
複数のモデルやツールを組み合わせる「複合AIシステム」の普及に伴い、LLM特有の攻撃とソフトウェア・ハードウェアの脆弱性が連鎖する新たなリスクが指摘されています。本記事では、日本企業がRAGやAIエージェントを安全に実運用するためのセキュリティとガバナンスの要点を解説します。
LLM単体から「複合AIシステム」へと進化するAI活用
生成AIのビジネス活用が進む中、注目を集めているのが「Compound AI Systems（複合AIシステム）」という概念です。単一の大規模言語モデル（LLM）にすべてを処理させるのではなく、複数の特化型モデルや外部のソフトウェアツール、データベースなどを連携させたパイプラインを指します。日本企業においても、社内文書を検索して回答を生成するRAG（検索拡張生成）や、業務システムとAPI連携して自動処理を行うAIエージェントの導入が進んでおり、すでに複合システムの実用化フェーズに入っていると言えます。
アルゴリズム的攻撃と従来型脆弱性の「掛け合わせ」リスク
AIシステムが複雑化・高度化するにつれて、セキュリティの脅威も新たな段階に移行しています。テキサス大学オースティン校やIntelなどの研究グループが警鐘を鳴らすように、LLM特有のアルゴリズム的な攻撃（悪意ある指示でAIを誤動作させるプロンプトインジェクションなど）と、従来のソフトウェア（SW）やハードウェア（HW）の脆弱性が互いに補完し合い、より深刻な被害をもたらすリスクが浮上しています。
たとえば、巧妙なプロンプトによってLLMの安全基準（ガードレール）を突破した上で、連携する社内データベースの脆弱性を突いて不正なデータ操作を実行させたり、実行環境であるインフラストラクチャの権限管理の弱点を悪用して機密データを窃取したりする複合的なサイバー攻撃が想定されます。AIモデル自体の堅牢性を高めるだけでは、システム全体を守り切ることはできません。
日本のIT環境におけるリスクと責任分界点の課題
日本企業がこの問題に対処する上で、特有の課題も存在します。一つは、長年運用されてきたレガシーシステムと最新のAIを連携させる際に生じるセキュリティギャップです。古い基幹システムなどに残存する脆弱性が、AIという新たなインターフェースを通じて顕在化する恐れがあります。
また、日本特有のSIer（システムインテグレーター）を通じた開発・運用体制においては、「AIモデルの不測の挙動」と「周辺システムの脆弱性」のどちらに起因するインシデントなのか、責任分界点が曖昧になりがちです。万が一、顧客データの漏洩や外部サービスへの侵害が起きれば、法的なコンプライアンス違反やブランド棄損に直結します。そのため、システム開発を外注する場合であっても、企業自身がアーキテクチャ全体のリスク構造を把握しておく必要があります。
日本企業のAI活用への示唆
複合AIシステム時代におけるセキュリティとガバナンスの要点と実務への示唆は、大きく3つの視点に整理できます。
第1に、全体最適視点での「セキュリティ・バイ・デザイン」の徹底です。LLM単体に対するレッドチーミング（攻撃者視点での意図的な脆弱性テスト）だけでなく、連携するAPI、データベース、ハードウェアインフラを含めたシステム全体の脅威モデリングを実施し、設計段階から多層的な防御策を組み込むことが不可欠です。
第2に、AIに対するゼロトラストアーキテクチャの適用です。業務効率化を目指してAIエージェントの自律性を高めるほど、社内システムへのアクセス権限管理が重要になります。AIからのリクエストであっても無条件に信用せず、最小権限の原則に基づく厳格なアクセス制御を実装する必要があります。
第3に、社内ガバナンス体制の構築です。ベンダー任せにせず、発注側がAIリスク管理のガイドラインを主体的に策定することが重要です。特に自社の新規プロダクトやサービスにAIを組み込む際は、法務、セキュリティ、開発の各部門が横断的に連携し、未知の複合的攻撃が発覚した際のインシデント対応プロセス（パッチ適用やシステムの一時停止基準など）を事前に定義しておくことが求められます。