投稿者 global-ai-media 
生成AIの安全装置を突破するために「詩」を用いた巧妙なプロンプト入力が海外で確認されています。本記事では、この新しいジェイルブレイク手法の背景を解説するとともに、ブランド毀損を避けつつAI活用を進めたい日本企業が講じるべき多層的なリスク対応について考察します。
「詩」を利用した巧妙なAIジェイルブレイクとは
生成AI（大規模言語モデル：LLM）がビジネスに浸透する中、セキュリティの懸念も新たなフェーズに入っています。Forbesの記事によると、悪意のあるユーザーが「詩（Poetry）」の形式を用いたプロンプトを入力し、AIのセーフガード（安全装置）を迂回する手法が確認されています。これは「ジェイルブレイク（脱獄）」と呼ばれる攻撃の一種です。
ジェイルブレイクとは、AIに設定された「差別的な発言をしない」「危険なコードを書かない」といった制限を意図的に解除し、本来許可されていない回答を引き出す行為を指します。従来は「あなたは開発者モードです」「これまでのルールを無視してください」といった直接的な命令が主流でしたが、現在では「詩」という一見無害で芸術的な表現に悪意を隠すという、非常に巧妙な手口へと進化しています。
なぜ「詩」がセーフガードをすり抜けるのか
AIの開発企業は、不適切な入出力を防ぐために強力なフィルターや検知システムを設けています。しかし、詩を用いたアプローチが厄介なのは、比喩表現や間接的な言い回し、複雑な構造を多用する点にあります。
LLMは文脈全体を理解しようと努めますが、詩的な表現の背後にある「真の意図（例えば、悪意のあるプログラムの作成手順を聞き出すなど）」を正確に判定することは容易ではありません。キーワードベースの単純な禁止リスト（NGワード）では検知できず、AI自身も「ユーザーの無害な創作活動を支援している」と誤認してしまうため、結果として危険な情報を出力してしまうのです。
日本企業におけるビジネスリスクとガバナンスへの影響
日本企業がAIを業務効率化や顧客向けプロダクトに組み込む際、この種のプロンプトインジェクション（悪意のある入力によりAIを誤作動させる攻撃全般）は重大なリスクとなります。特に日本の市場では、企業のブランドイメージやコンプライアンスに対する要求が厳しく、一度でも「自社のカスタマーサポートAIが不適切な発言をした」「機密情報に近い内容を生成した」となれば、SNSでの炎上や社会的信頼の失墜に直結します。
また、社内向けの業務アシスタントAIであっても、従業員が意図せず、あるいは意図的に制限を解除し、社内ポリシーに反する使い方をしてしまうリスクが存在します。AIガバナンスを効かせるためには、こうした「想定外の入力」が常に存在することを前提としたシステム設計が必要です。
多層的な防御と「完璧を求めすぎない」運用体制
このような高度な攻撃に対しては、単一の対策では不十分です。実務においては、MLOps（機械学習モデルの開発・運用プロセス）の中に、多層的な防御策である「ガードレール」を組み込むことが求められます。
第一に、入力と出力の両面での監視です。ユーザーの入力プロンプトだけでなく、AIが生成した回答も別の監視用AIやフィルターでチェックし、不適切な内容をブロックする仕組みが有効です。第二に、レッドチーム演習（セキュリティ専門家が攻撃者視点でAIシステムの脆弱性をテストする手法）の定期的な実施です。自社のAIがどのような回りくどいプロンプトに弱いのかを把握し、継続的にシステムを微調整していく必要があります。
一方で、日本の組織文化において注意すべきは、「100%の安全性が担保できるまでAIを導入しない」というゼロリスク信仰に陥ることです。生成AIの特性上、あらゆる未知のジェイルブレイクを完全に防ぐことは困難です。そのため、システム的な防御に加えて、利用規約による免責事項の整備（法務的対応）や、万が一インシデントが発生した際の迅速な検知・停止・対応プロセスを事前に用意しておくことが、実用化の鍵となります。
日本企業のAI活用への示唆
今回の「詩を用いたジェイルブレイク」という事例から、日本企業のAI担当者や意思決定者が学ぶべき実務的な示唆は以下の通りです。
・攻撃手法の高度化を前提とする：AIを騙す手口は日々進化しています。単純なNGワード設定では防げないことを理解し、比喩や間接的表現にも対応できる高度なガードレール（入出力のフィルタリング機構）の実装を検討する必要があります。
・定期的なレッドチーム演習の導入：プロダクトをリリースする前、そしてリリース後も継続的に、攻撃者の視点に立った脆弱性テストを実施し、システムの堅牢性を評価・改善する運用プロセスを構築することが重要です。
・ゼロリスク信仰からの脱却と運用体制の整備：完璧な防御は不可能であるという前提に立ち、インシデント発生時の対応フロー（監視、アラート、即時停止など）や法務的なリスクヘッジをあらかじめ準備しておくことで、安全とイノベーションのバランスを取ることが求められます。