生成AIが自律的にタスクを実行する「AIエージェント」の活用が進む中、LLM(大規模言語モデル)の暴走を防ぐセキュリティ設計が急務となっています。本稿では、AWSがAmazon Bedrockの権限管理にポリシー記述言語「Cedar」を採用した背景を紐解きながら、日本企業が安全にAIワークフローを構築するためのポイントを解説します。
AIエージェントの台頭と新たなセキュリティリスク
現在、生成AIの実務活用は単なる「テキストの生成や要約」から、外部のツールやシステムと連携して自律的に業務を遂行する「AIエージェント(エージェント型ワークフロー)」へと進化しています。例えば、ユーザーの指示を受けて社内データベースから情報を検索し、必要なデータを集計した上でメールを自動送信するといった高度な処理が可能になりつつあります。
しかし、AIが自律的に外部システムにアクセスできるようになることは、同時に深刻なセキュリティリスクを生み出します。プロンプトインジェクション(悪意のある入力を与えてAIを誤動作させる攻撃)や、LLM特有のハルシネーション(もっともらしい嘘を出力する現象)によって、AIが意図せず重要なデータを削除してしまったり、権限のない機密情報にアクセスしてしまったりする危険性が潜んでいるためです。
「LLMは信頼できないアクター」という前提に立つ設計
こうした課題に対し、AWSのAmazon Bedrock AgentCore開発チームが提示した洞察は非常に実務的です。それは「セキュリティの観点から、LLMは信頼できないアクター(untrusted actor)として扱うべきである」というゼロトラスト的な前提です。
LLM自体は、あくまで入力されたテキストの続きを確率的に予測するシステムに過ぎません。LLMそのものが直接外部の世界(APIやデータベース)に影響を与えることはできず、必ず「システム側でLLMの出力を解釈し、アクションを実行する」というステップを経由します。したがって、LLMの出力結果を無条件に信用して実行するのではなく、アクションを実行する手前に強固な「認可(Authorization)」の仕組みを設けることが不可欠となります。
ポリシー記述言語「Cedar」による厳格な権限管理
Amazon Bedrockでは、この認可の仕組みを確実にするために、AWSがオープンソースとして開発したポリシー記述言語「Cedar(シダー)」を採用しています。Cedarは、アプリケーションにおけるアクセス制御を簡潔かつ厳密に定義・評価するための言語です。
AIエージェントが「データベースAから顧客情報を取得する」というアクションを呼び出した際、システムはまずCedarのポリシーエンジンに問い合わせを行います。そこで「この操作を要求しているユーザー(またはAIエージェント)に適切な権限があるか」「アクセス先のデータは機密情報に該当しないか」といった条件を高速に評価し、許可された場合のみアクションが実行されます。これにより、万が一LLMが暴走したり悪意のあるプロンプトを受けたりしても、被害をポリシーの範囲内に封じ込めることが可能になります。
日本企業の組織文化とAIガバナンスへの適合
この「LLMを信頼せず、厳格なポリシーでアクセスを制御する」というアプローチは、セキュリティやコンプライアンスを重視し、細やかな権限管理(稟議プロセスやアクセス権の分離など)を求める日本企業の組織文化に非常に適しています。
日本国内でAIの業務組み込みを進める際、情報システム部門や法務部門から「AIが勝手に機密情報を読み取ってしまわないか」「誤って顧客データを書き換えないか」といった懸念が必ず寄せられます。これに対して「LLMにプロンプトで『機密情報にはアクセスしないでください』と指示しています」という説明では、ガバナンスの観点から到底承認を得られません。
システムアーキテクチャのレベルで「AIエージェントのアクションは、人間の従業員と同等以上に厳密なアクセス制御の網にかけられており、権限外の操作は物理的に遮断される」と証明できることが、社内合意を形成し、AIプロジェクトを本番環境へ進めるための重要な鍵となります。
日本企業のAI活用への示唆
ここまでの解説を踏まえ、日本企業がAIエージェントを活用し、新規事業や業務効率化を進める際の実務的な示唆を整理します。
第一に、LLMをシステムの「頭脳」ではなく「信頼できないコンポーネントの一つ」として再定義することです。LLMの推論能力は強力ですが、セキュリティの境界防御をLLM自身に任せてはいけません。従来のWebアプリケーション開発と同様に、認証・認可の仕組みはAIの外側に独立して持たせる必要があります。
第二に、社内の既存のアクセス権限(ロールベースや属性ベースのアクセス制御)とAIの権限を統合的に設計することです。AIエージェントが操作を代行する場合、そのAIが「誰の権限で」動いているのかを明確にし、利用する従業員の権限を超える操作ができないようにポリシーを設計することが、情報漏洩やコンプライアンス違反を防ぐ防波堤となります。
最後に、ガバナンスとイノベーションのバランスを取ることです。過度なリスクへの恐れからAIの利用をテキスト生成のみに留めていては、グローバルな競争に取り残されてしまいます。Cedarのようなモダンな認可の仕組みを適切に導入・運用することで、セキュリティを担保しながらも、AIエージェントによる劇的な生産性向上や新たな顧客体験の創出に踏み出すことが可能になります。
