生成AIがユーザーの前提条件を記憶する機能は利便性を高める一方で、新たなセキュリティリスクを生み出しています。本記事では、単一のファイルがAIの「記憶」を書き換える「メモリ・インジェクション」の手法と、日本企業が実務において取るべき防衛策について解説します。
AIの進化に伴う「記憶」の利便性と新たな脅威
近年、ChatGPTをはじめとする大規模言語モデル(LLM)は、ユーザーとの過去のやり取りや好みを保持する「メモリ(記憶)」機能を実装し始めています。この機能により、毎回前提条件を入力する手間が省け、業務効率は飛躍的に向上します。しかし、この利便性の裏で「メモリ・インジェクション」と呼ばれる新たなセキュリティリスクが顕在化しつつあります。
たった一つのファイルがAIを汚染する「メモリ・インジェクション」
2024年9月に報告された事例では、ChatGPTのメモリ機能が単一の悪意あるファイルによって「汚染(ポイズニング)」される脆弱性が指摘されました。メモリ・インジェクションとは、攻撃者がPDFや画像などのファイル内に特殊な命令を隠し、それを読み込んだAIの記憶領域を不正に書き換える攻撃手法です。
一度AIの記憶が書き換えられると、その後のすべての会話において、攻撃者が意図した指示(例:特定のフィッシングサイトへの誘導、機密情報の不正な出力、誤情報の混入など)が永続的に実行される恐れがあります。これは、その場限りの誤作動を引き起こす従来の「プロンプトインジェクション」よりも影響が長期化し、ユーザーが気づきにくいという点で、より深刻な脅威と言えます。
日本企業の業務に潜む具体的なリスクシナリオ
日本企業においても、AIを用いた「外部資料の要約」や「多言語ドキュメントの翻訳」は日常業務として定着しつつあります。例えば、取引先から送られてきたPDF資料や、採用活動における候補者の履歴書、Web上で公開されている業界レポートなどをChatGPTにアップロードし、分析を依頼するケースは少なくありません。
もし、これらの外部ファイルに悪意のあるプロンプトが仕込まれていた場合、担当者が気づかないうちに自社のAI環境が汚染される可能性があります。日本のビジネス文化は取引先への強い信頼関係を前提とすることが多いですが、サプライチェーンの弱点を突いたサイバー攻撃が増加する中、外部から受領したファイルであっても「完全に安全である」と盲信することは危険です。
組織とシステムを守るための防衛策
このような脅威から自社の情報資産を守るために、企業は以下の対策を検討する必要があります。第一に、メモリ機能の適切な利用と管理です。企業向けプラン(EnterpriseやTeamなど)を利用している場合、管理者は社内ポリシーに応じてメモリ機能の有効・無効を制御し、機密性が高い業務環境では必要以上のコンテキストが保持されないよう設定を見直すことが推奨されます。
第二に、自社システムへのAI組み込み(社内文書を検索して回答を生成するRAGなど)におけるデータの無害化(サニタイズ)です。外部から取得したデータをAIの参照データベースに登録する際は、不可視テキストや不審な命令が含まれていないかを事前に検証・フィルタリングするプロセスが不可欠です。
日本企業のAI活用への示唆
AIの技術進化は私たちの業務を劇的に効率化しますが、同時に攻撃手法も高度化しています。メモリ・インジェクションの事例は、AIが「外部からの入力」をどのように処理し、記憶しているのかを私たちが正しく理解・管理しなければならないことを示しています。
実務への示唆として、まずは社内のAI利用ガイドラインを見直し、外部ファイルの読み込みに関するルールを明確にすることが挙げられます。また、AIが生成した回答を鵜呑みにせず、重要な意思決定や外部への発信においては必ず人間による確認(ヒューマン・イン・ザ・ループ)を挟むという基本原則を徹底することが、実効性のあるガバナンスとリスク管理の要となります。
