セキュリティ研究者により、ハッカーがChatGPTの会話履歴やメモリ機能を「汚染(ポイズニング)」し、ユーザーにコンピュータウイルスをインストールさせる新たな攻撃手法が確認されました。生成AIの業務利用が加速する中、従来のセキュリティ教育では防ぎきれないこのリスクに対し、日本企業はどのようなガバナンスと対策を講じるべきか解説します。
信頼の逆用:AIによるソーシャルエンジニアリングの進化
The Telegraphなどの報道によると、ハッカーがChatGPTの会話コンテキストを操作(ポイズニング)し、ユーザーを騙してマルウェアをインストールさせる手口が発見されました。これは、AIモデルそのものの脆弱性というよりも、AIとユーザーの「信頼関係」を悪用した高度なソーシャルエンジニアリングの一種と言えます。
具体的には、攻撃者が何らかの方法でユーザーのChatGPTの「記憶」や「会話履歴」に悪意のある情報を紛れ込ませることで、AIが正当なアシスタントとして振る舞いながら、文脈の中で自然に「このツールを更新する必要があります」「解決のためにこちらのプラグインを導入してください」といった指示を出し、ウイルスを含むリンクへ誘導するケースなどが想定されます。
間接的プロンプトインジェクションとメモリ機能のリスク
この事象の背景には、「間接的プロンプトインジェクション(Indirect Prompt Injection)」と呼ばれる攻撃手法のリスクが潜んでいます。これは、AIがWebサイト、メール、共有ドキュメントなどの外部データを読み込む際、そのデータ内に隠された悪意ある命令(プロンプト)を実行してしまう現象です。
さらに、近年の大規模言語モデル(LLM)は、ユーザー体験を向上させるために「長期記憶(メモリ)」機能を強化しています。これは業務効率化において極めて有用ですが、一度AIが誤った情報や悪意ある指示を「記憶」してしまうと、将来にわたってその汚染された情報に基づいた回答を生成し続けるリスクも孕んでいます。攻撃者はこの永続性を利用し、即座に攻撃を仕掛けるのではなく、ユーザーがAIを完全に信頼したタイミングを見計らって罠を発動させることが可能です。
日本企業のAI活用への示唆
日本国内でも、RAG(検索拡張生成)を用いた社内ナレッジ検索や、自社データを取り込んだAIアシスタントの開発が進んでいます。今回の事例は、こうしたシステム構築において重要な示唆を与えています。
1. 「AIは無垢な仲介者ではない」という意識改革
日本企業の現場では、システムからの出力結果を「正解」として無批判に受け入れる傾向が少なからず見られます。しかし、AIは外部からの入力によって「騙される」可能性があることを従業員に周知する必要があります。AIが提示したURLやファイルダウンロードの指示であっても、必ずゼロトラスト(性悪説)の視点で確認するよう、セキュリティ教育をアップデートすべきです。
2. 入力データのサニタイズと出力の監視
プロダクト開発者やエンジニアは、AIに読み込ませる外部データ(Web検索結果や外部メール等)に、隠しコマンドが含まれていないか警戒する必要があります。また、AIがユーザーに対して実行ファイル(.exeなど)のダウンロードを促すような挙動を検知・ブロックするガードレールの実装が、実務的な対策として求められます。
3. ガバナンスにおける「記憶」の管理
AIのメモリ機能やパーソナライゼーション機能を利用する場合、定期的にその「記憶」をリセットする、あるいは機密性の高い業務ではコンテキストを引き継がない設定にするなどの運用ルールが必要です。利便性とリスクのバランスを考慮した、日本企業特有の緻密な運用ガイドラインの策定が急務と言えるでしょう。
