生成AIの高度な対話能力は、業務効率化の強力な武器であると同時に、フィッシング詐欺などのサイバー攻撃に悪用されるリスクも孕んでいます。本記事では、AIがもたらすソーシャルエンジニアリングの脅威と、日本企業が取り組むべきセキュリティ対策やガバナンスについて解説します。
AIの「ソーシャルスキル」がサイバー脅威を底上げする
大規模言語モデル(LLM)を中心とする生成AIは、コードの自動生成や脆弱性の発見など、高度な技術的タスクをこなす能力で注目を集めています。しかし、近年サイバーセキュリティの専門家がそれと同等、あるいはそれ以上に警戒しているのが、AIの「ソーシャルスキル」です。
米国WIRED誌の実験でも示されたように、現在のAIモデルは人間に寄り添い、説得し、時には騙すための文面を極めて自然に生成する能力を持っています。これまで悪意ある第三者にとって、ターゲットの心理を操る「ソーシャルエンジニアリング」は多大な手間と語学力を要するものでした。しかし、AIの活用により、ターゲット一人ひとりにパーソナライズされた巧妙なフィッシング攻撃が、大規模かつ低コストで実行可能になりつつあります。
「日本語の壁」崩壊によるビジネスメール詐欺(BEC)のリスク増大
日本企業にとって、この変化は対岸の火事ではありません。これまで日本の組織は「不自然な日本語」や「見慣れない漢字」という言語の壁に守られ、海外からのフィッシングメールやビジネスメール詐欺(BEC)を比較的容易に見破ることができました。
しかし、最新のLLMは日本の複雑な敬語表現や、ビジネス特有の「いつもお世話になっております」といった定型句、さらには季節の挨拶までも完璧に再現します。もし攻撃者が公開情報や漏洩した過去のメール履歴をAIに読み込ませた場合、上司や取引先の担当者になりすました、極めて自然で説得力のある送金依頼やパスワード変更要求が届くことになります。稟議や根回し、上意下達の傾向が強い日本の組織文化においては、「役員からの緊急の依頼」を装った巧妙な文面に対して、現場の担当者が心理的プレッシャーから確認を怠り、被害に遭うリスクが高まります。
自社のAIサービスが「踏み台」になる懸念
もう一つの重要な視点は、自社でAIを活用する際のリスクです。業務効率化や顧客対応のために、社内システムやカスタマーサポートチャネルにLLMを組み込む企業が増えています。ここで留意すべきは、自社のAIが第三者を騙すための「踏み台」として悪用される可能性です。
悪意のあるユーザーが、プロンプトインジェクション(AIの制限を回避して意図しない動作をさせる攻撃手法)を用いて、自社のカスタマーサポートAIにフィッシングサイトへの誘導リンクを生成させたり、他社を騙すための詐欺文面を作成させたりするリスクが存在します。プロダクト担当者やエンジニアは、AIの利便性を追求するだけでなく、モデルが不適切な出力をしないためのガードレール(安全対策)を設計プロセスに組み込む必要があります。
技術と「人・プロセス」の両輪による防御
これらの脅威に対抗するためには、多層的なアプローチが不可欠です。技術面では、なりすましメールを防ぐためのDMARC(送信ドメイン認証)の導入や、不審な振る舞いを検知するセキュリティ体制の構築が求められます。
同時に、従業員教育の抜本的なアップデートが必要です。「日本語がおかしいメールに注意する」という過去の常識を捨て、「文面がどれほど自然でも、振込先の変更や認証情報の入力を求めるものは疑う」という前提に立つ必要があります。重要な承認や情報のやり取りには、メールやチャットという単一の経路に依存せず、別のシステムでの多要素認証を必須とするなど、業務プロセスそのものを見直すことが有効です。
日本企業のAI活用への示唆
・防御の前提をアップデートする:AIの進化により「自然な日本語の詐欺メール」が当たり前になることを前提とし、社内のセキュリティ教育やインシデント対応マニュアルを早急に改訂する必要があります。
・業務プロセスの堅牢化:日本の商習慣や組織風土(権威への服従や属人的なコミュニケーション)を突いた攻撃を防ぐため、送金や重要情報の取り扱いフローをシステム的に制御し、現場の担当者に過度な心理的負担や判断を強いない仕組みを構築することが重要です。
・自社AIプロダクトのガバナンス徹底:AIを自社サービスに組み込む際は、リリース前にレッドチーム演習(意図的にAIを攻撃して脆弱性を探るテスト)などを実施し、自社のAIがフィッシングや詐欺の片棒を担ぐリスクを継続的に評価・低減する体制(AIガバナンス)を整えることが求められます。
