投稿者 global-ai-media 
韓国にて、薬物を使用した犯罪計画にChatGPTが悪用されたという報道がありました。この事件は、生成AIが持つ「デュアルユース（両義性）」のリスクを改めて浮き彫りにしています。日本国内でAI活用を進める企業にとっても、技術的なガードレールの限界を理解し、実効性のあるガバナンス体制を構築することは急務です。
テクノロジーの「民主化」が招く新たな脅威
韓国警察の発表によれば、薬物を用いた殺害事件の容疑者が、犯行計画の立案にあたりChatGPTを使用していたことが明らかになりました。これまでもサイバー攻撃のコード生成やフィッシングメールの作成に生成AIが利用される懸念は指摘されてきましたが、物理的な危害を加える犯罪の計画に具体的に利用された事例として、業界内でも重く受け止められています。
大規模言語モデル（LLM）は、インターネット上の膨大な知識を学習しており、化学、薬学、法医学などの専門知識も内包しています。通常、これらの知識にアクセスするには専門的な学習や検索スキルが必要でしたが、LLMはその障壁を極端に下げました。これは「知の民主化」という大きなメリットである反面、悪意あるユーザーが容易に危険な知識へ到達できるリスクも孕んでいます。
ガードレールと「ジェイルブレイク」のいたちごっこ
OpenAIをはじめとする主要なAIベンダーは、暴力、犯罪行為、ヘイトスピーチなどに関する回答を拒否するよう、モデルに強力な「ガードレール（安全装置）」を設けています。しかし、今回の事例が示唆するのは、これらの安全策が決して完璧ではないという事実です。
攻撃者は「ジェイルブレイク（脱獄）」と呼ばれる手法や、文脈を巧妙に偽装したプロンプト（指示文）を用いることで、AIの倫理フィルターを回避しようと試みます。例えば、直接的に「毒物の作り方」を聞くのではなく、小説の執筆を装ったり、学術的な化学反応の質問として入力したりすることで、有害な情報を引き出すケースがあります。ベンダー側も対策を強化していますが、抜け穴を探す攻撃者とのいたちごっこが続いているのが現状です。
日本企業におけるAIサービス開発への影響
この問題は、AIモデルを開発するベンダーだけの責任ではありません。API経由でLLMを自社プロダクトや社内システムに組み込んでいる日本企業にとっても、他人事ではない課題です。
もし、自社が提供するAIチャットボットや検索サービスが、犯罪や不適切な行為の助長に使われた場合、法的責任だけでなく、ブランド毀損という甚大な社会的制裁を受ける可能性があります。特に日本では「安心・安全」が企業評価の根幹に関わるため、出力結果に対する責任論は欧米以上に厳しくなる傾向があります。
また、企業内での利用においても、従業員がAIを使ってコンプライアンス違反にあたる文書を作成したり、社外秘のノウハウを不適切に抽出したりするリスクも考慮する必要があります。
日本企業のAI活用への示唆
今回の事例を踏まえ、日本企業がAI活用を進める上で意識すべきポイントは以下の通りです。
1. 技術的限界を前提としたリスクシナリオの策定
「ベンダーが対策しているから安全だ」という過信は禁物です。LLMは確率的に言葉を紡ぐものであり、100%の制御は不可能です。自社のユースケースにおいて、AIがどのような悪用をされ得るか、最悪のシナリオ（レッドチーミング）を想定し、独自のフィルタリング処理や監視体制を追加する必要があります。
2. 「Human-in-the-loop（人間による介在）」の重要性
人命や法規制に関わる領域、あるいは顧客との直接的な接点においては、AIに全権を委ねるのではなく、最終的な確認や判断を人間が行うプロセスを維持すべきです。特にカスタマーサポートや専門的なアドバイスを行うサービスでは、AIの回答を人間が監査する仕組みが、信頼担保の防波堤となります。
3. ガイドラインの策定と利用規約の整備
AIガバナンスは技術だけの問題ではありません。ユーザーや従業員に対し、AIの利用範囲と禁止事項を明確にしたガイドラインや利用規約を整備することが不可欠です。万が一のトラブルの際に、企業として「予見可能性に基づいた対策を講じていたか」を証明できる体制を整えておくことが、経営リスクの低減につながります。