大規模言語モデル(LLM)への入力や外部データの参照を通じて、機密情報が流出するサイバー攻撃の懸念が高まっています。本記事では、海外の最新動向を踏まえ、自社プロダクトや社内業務にAIを組み込む日本企業が留意すべきリスクとガバナンスの要点について解説します。
AIに対する「情報の共有」が引き起こす新たなリスク
近年、生成AIを活用して財務データの分析や業務の効率化を図る企業が増加しています。一方で、AIに機密情報や個人情報を入力する際のリスクも複雑化しています。海外のセキュリティ動向では、ユーザーがAIにパーソナルな金融アドバイスを求める際、意図せずサイバー犯罪者にパスワードなどの機密情報が漏洩してしまう手口が指摘されています。これは単なるユーザーの不注意ではなく、LLM(大規模言語モデル)の仕組みそのものを悪用した新たなサイバー攻撃によるものです。
間接的プロンプトインジェクションの脅威
この手口の代表例が「間接的プロンプトインジェクション」と呼ばれる攻撃手法です。プロンプトインジェクションとは、AIに対して特殊な指示(プロンプト)を入力し、開発者が意図しない動作を引き起こす攻撃を指します。間接的な手法では、攻撃者が事前にWebサイトやPDFファイルなどの外部データに悪意のある指示を隠しておきます。ユーザーやシステムがRAG(検索拡張生成:外部の独自データを検索してAIの回答精度を高める技術)などを通じてそのデータを読み込ませると、AIは隠された指示に従ってしまい、ユーザーが入力した機密情報を攻撃者のサーバーに送信してしまう危険性があります。
日本の法規制と組織文化を踏まえた対応
日本国内において、企業が従業員向けにAIチャット環境を整備したり、自社サービスにLLMを組み込んだりする動きは急速に進んでいます。しかし、日本の個人情報保護法や各種業界ガイドラインに照らし合わせると、こうした予期せぬ情報漏洩は重大なコンプライアンス違反に直結します。日本企業は「完璧なセキュリティ担保が難しいからAI利用を全面禁止する」というゼロリスク思考に陥りがちですが、グローバルでの競争力を維持するためには、リスクを認知した上で安全に活用するガバナンス体制の構築が不可欠です。具体的には、個人情報が含まれる可能性のある入力テキストの事前マスキング処理や、AIが参照する外部データの信頼性検証、システムからの外部通信の制限などの技術的な対策が求められます。
日本企業のAI活用への示唆
ここまでの動向を踏まえ、日本企業がAI活用を進める上での重要な示唆を整理します。
第一に、システム設計における「ゼロトラスト」の徹底です。自社で開発するAIプロダクトにおいて、外部からのデータ参照(Web検索やユーザーがアップロードしたファイル)を行う場合は、そのデータに悪意あるプロンプトが含まれている前提でアーキテクチャを設計する必要があります。LLMの出力結果をそのまま重要システムの処理やデータベースの更新に直結させず、必ず検証フェーズを挟むことが重要です。
第二に、社内ガイドラインの継続的なアップデートです。社内業務でAIを利用する従業員に対して、「個人情報を直接入力してはいけない」というルールだけでなく、「外部の出所不明なファイルをAIに読み込ませて要約させる際のリスク」についても教育を行う必要があります。日本の組織文化においては、現場への丁寧な周知と、安全な利用環境(入力データがAIの学習に利用されず、セキュアな環境で処理されるエンタープライズ向け契約の導入など)の提供をセットで行うことが効果的です。
AIの技術進化は目覚ましい一方で、それに伴うリスクも日々変化しています。法的・倫理的な要件を満たしつつ、最新のセキュリティ動向に合わせた柔軟なAIガバナンスを構築することが、これからの日本企業におけるAI活用の成否を分ける鍵となるでしょう。
