投稿者 global-ai-media 
大規模言語モデル（LLM）のセキュリティにおいて、新たな脅威手法「クレシェンド（Crescendo）」が注目されています。単発のプロンプトではなく、対話を重ねることでAIの倫理ガードレールを回避するこの手法は、チャットボットや社内AIアシスタントを導入する企業にとって看過できないリスクです。本記事では、この攻撃のメカニズムと、日本企業が取るべき現実的な対策について解説します。
対話の中で徐々にAIを「洗脳」する手法
生成AI、特に大規模言語モデル（LLM）のセキュリティにおいて、「ジェイルブレイク（脱獄）」と呼ばれる攻撃手法は常にイタチごっこの状態にあります。従来のジェイルブレイクは、特殊な文字列や役割演技（ロールプレイ）を用いて、一度の指示でAIに有害な情報を出力させようとするものが主流でした。しかし、最新の研究で明らかになった「クレシェンド（Crescendo）」と呼ばれる手法は、より人間的で狡猾なアプローチを取ります。
クレシェンドとは、音楽用語で「だんだん強く」を意味するように、AIとの対話の中で徐々に話題を有害な方向へと誘導していく「マルチターン（複数回のやり取り）」の攻撃手法です。攻撃者は最初、無害な質問や歴史的な議論から会話を始めます。そして、AIが回答を受け入れたことを確認しながら、少しずつ文脈を操作し、最終的には本来AIが拒否すべき「爆発物の製造方法」や「ヘイトスピーチ」などを出力させることに成功します。これはまさに、人間に対する「ソーシャルエンジニアリング」をAIに応用したものです。
なぜ既存の防御策は突破されるのか
現在、多くの商用LLM（GPT-4やClaude 3など）は、RLHF（人間からのフィードバックによる強化学習）やセーフティフィルターによって、有害な指示を拒否するように調整されています。しかし、これらの防御策の多くは、「個別のプロンプト（指示）」に含まれるキーワードや意図を判定することに主眼を置いています。
クレシェンド攻撃の恐ろしい点は、個々の発言だけを見れば「安全」または「グレーゾーン」に見える点です。AIは直前の文脈に沿って回答を生成しようとする性質（一貫性バイアス）があるため、友好的な会話の流れを作られると、突然の拒否反応を示しにくくなります。あたかも「ゆでガエル」のように、AI自身が有害な文脈に加担していることに気づかないまま、最終的なラインを超えてしまうのです。これは、文脈理解能力が高い高性能なモデルほど、皮肉にも引っかかりやすい傾向すらあります。
日本企業におけるリスクシナリオ
日本企業において、このリスクは決して対岸の火事ではありません。特に以下のようなシナリオで懸念が生じます。
一つは、顧客対応用の自動チャットボットです。日本では「おもてなし」の観点から、ユーザーに寄り添う丁寧な対話モデルが好まれます。しかし、悪意あるユーザーが時間をかけてチャットボットと対話し、自社ブランドを毀損するような発言や、競合他社を利するような不適切な回答を引き出し、そのスクリーンショットをSNSで拡散させるリスクがあります。
もう一つは、社内RAG（検索拡張生成）システムです。社内規定や機密情報を参照できるAIに対し、社員が悪意を持って（あるいは興味本位で）誘導的な対話を繰り返し、本来アクセス権限のない人事情報や未発表プロジェクトの断片を引き出そうとする内部不正のリスクも考えられます。
日本企業のAI活用への示唆
クレシェンド攻撃のような高度な脅威に対し、日本企業はどのように向き合うべきでしょうか。実務的な示唆を以下にまとめます。
1. 「レッドチーミング」の高度化と日本的文脈の考慮
単発のプロンプトテストだけでなく、マルチターンの対話シナリオを含めた「レッドチーミング（模擬攻撃演習）」が必須です。特に日本語特有の曖昧な表現や、丁寧語を逆手に取った誘導など、日本の商習慣や言語文化に根ざした攻撃パターンをテストシナリオに組み込む必要があります。
2. 文脈全体を監視するガードレールの導入
入力と出力を1回ごとにチェックする単純なフィルターでは不十分です。会話の履歴全体（コンテキストウィンドウ）を監視し、「話題が徐々に不適切な方向へシフトしていないか」を検知する動的なガードレールシステムの導入を検討すべきです。最新のMLOpsツールの中には、こうした対話の流れをスコアリングする機能を持つものも登場しています。
3. 過度な「擬人化」への警戒と免責
AIを「何でも答えてくれるパートナー」として過度に擬人化して位置づけることは、リスクを高めます。特に顧客向けサービスでは、AIの回答範囲を厳密に定義し、特定のトピック（政治、宗教、犯罪、競合他社など）に話題が移った際は、定型文で遮断して有人対応へエスカレーションする仕組みを実装するのが現実的です。
4. AIリテラシー教育のアップデート
開発者や運用担当者だけでなく、AIを利用する一般社員に対しても、「AIは巧みな誘導によって誤った情報を出力し得る」という特性を教育する必要があります。AIの出力を鵜呑みにせず、最終的な判断責任は人間が持つというガバナンス体制を、精神論ではなく業務フローとして定着させることが重要です。