投稿者 global-ai-media 
米FinTech大手Block社（旧Square）が、自社開発のAIエージェントに対するレッドチーム演習（模擬攻撃）において、AIに情報窃取マルウェアを実行させることに成功したという事例が報告されました。単なる「対話」から、業務を代行する「行動（アクション）」へと進化するAIにおいて、日本企業が直面する新たなリスクと実務的な対策について解説します。
AIエージェントが「攻撃の実行犯」になるリスク
生成AIの活用フェーズは、単に文章を作成したり要約したりする「チャットボット」の段階から、ユーザーの指示に基づいてツールを操作し、タスクを完遂する「AIエージェント（自律型AI）」へと移行しつつあります。そのような中、決済サービス「Square」や送金アプリ「Cash App」などを手掛けるBlock社が実施したセキュリティ演習の結果は、多くの企業にとって重要な警鐘となります。
報道によると、Block社のCISO（最高情報セキュリティ責任者）は、同社の従業員約12,000人が利用する社内AIエージェントに対し、レッドチーム（攻撃者役のセキュリティチーム）によるテストを実施しました。その結果、AIエージェントを操作して従業員のラップトップ上で「インフォスティーラー（情報窃取マルウェア）」を実行させることに成功したといいます。
これは、AIが外部からの悪意あるプロンプトや、あるいはハルシネーション（誤った生成）によって、意図せずしてセキュリティ境界の内側で危険なコードを実行しうることを示唆しています。AIが「便利なアシスタント」であるためには、社内システムへのアクセス権やコード実行権限が必要ですが、それがそのまま脆弱性になり得るというジレンマがここにあります。
プロンプトインジェクションから「アクションインジェクション」へ
これまで生成AIのセキュリティリスクといえば、不適切な発言を引き出す「プロンプトインジェクション」や、学習データに含まれる機密情報の漏洩が主な懸念事項でした。しかし、AIエージェントの普及に伴い、リスクの本質は「情報の流出」から「不正な操作の実行」へと拡大しています。
例えば、日本の企業現場でも「Pythonコードを書いてデータ分析をするAI」や「社内APIを叩いて会議室予約や経費精算を行うAI」の導入が進んでいます。もし、これらのAIに対して悪意ある入力（メールに含まれる隠しテキストや、Webサイト上の見えない命令など）が与えられた場合、AIはユーザーの権限を借用して、社内ネットワーク内でマルウェアをダウンロード・実行したり、データベースを破壊したりする可能性があります。
Block社の事例は、AIが単なるテキスト生成器ではなく、OSやネットワークに対する「インターフェース」として機能し始めたとき、従来のエンドポイントセキュリティだけでは防ぎきれないリスクが生まれることを示しています。
日本企業における「サンドボックス」と「権限管理」の重要性
日本企業、特に金融や製造業など機密性の高い情報を扱う組織においては、AIエージェントの導入に際して、従来のセキュリティ対策に加え、以下の技術的・組織的なガードレールが不可欠になります。
まず技術面では、AIがコードを実行する環境の厳格な「サンドボックス化」です。AIが生成・実行するコードが、社内の基幹ネットワークや従業員のローカル環境に直接アクセスできないよう、隔離された環境（コンテナ等）で実行させる設計が求められます。
組織面では、「最小権限の原則」の徹底です。AIエージェントに対して「何でもできる権限」を与えるのではなく、特定のAPIや特定のファイルフォルダのみにアクセス権を絞る実装が必要です。日本の組織では、一度導入したツールの権限設定が見直されず、「とりあえず管理者権限で動かす」という運用がまかり通るケースが散見されますが、AIエージェントにおいては致命的な事故につながりかねません。
日本企業のAI活用への示唆
今回のBlock社の事例は、AI活用を萎縮させるものではなく、むしろ「正しくリスクを評価し、対策を講じることで安全に活用できる」ことを示しています。同社が実際に被害が出る前にレッドチーム演習で脆弱性を発見できたことは、ガバナンスが機能している証左です。日本の意思決定者や実務者は以下の点を意識すべきです。
1. 定期的なレッドチーミングの実施
AIシステムをリリースして終わりではなく、定期的に「攻撃者視点」でのテストを行う体制を整えてください。外部ベンダーによる診断だけでなく、社内のセキュリティチームがAIの挙動を継続的に監視するプロセスが必要です。
2. 「Human-in-the-loop」の再評価
ファイルの削除、外部への送金、コードの実行など、不可逆的または高リスクなアクションについては、必ず人間の承認（Human-in-the-loop）を挟む設計を検討してください。完全自動化は効率的ですが、現在のLLMの信頼性を考慮すると、クリティカルな業務には「人間による最終確認」という安全弁が不可欠です。
3. ガバナンスガイドラインの更新
従来の「情報漏洩防止」中心のガイドラインから、「AIによる自律的な操作（Action）」を前提としたガイドラインへのアップデートが急務です。AIが実行可能な操作の範囲を明確に定義し、リスク許容度を組織全体で合意することが、安全なAI活用の第一歩となります。