投稿者 global-ai-media 
米国で、ChatGPTをストーカー行為に悪用したユーザーのアカウント凍結措置が裁判所に支持される事例が発生しました。本記事ではこのニュースを契機として、日本企業がAIサービスを展開・社内導入する際に直面する「個人への悪用リスク」と、それを防ぐためのガバナンスのあり方について解説します。
AIの個人的な悪用とプラットフォーマーの対応
OpenAIが、ChatGPTを悪用して元交際相手に嫌がらせを行っていたとされるユーザーのアカウントを凍結し、米国の裁判所がその措置の維持を支持したというニュースが報じられました。
これまで生成AIのリスクといえば、偽情報の拡散やサイバー攻撃への悪用など、社会や企業に対するマクロな脅威が注目されがちでした。しかし本件は、高度な文章生成能力が個人間のハラスメントやストーカー行為といったミクロなレベルで武器として使われ得ることを示しています。同時に、サービス提供者が規約に基づいて毅然とアカウント停止措置をとることの正当性が法的に認められた重要な事例と言えます。
プロダクトへのAI組み込みに伴う新たなリスク
日本国内でも、自社のウェブサービスやスマートフォンアプリに大規模言語モデル（LLM）を組み込み、チャットボットやパーソナライズ機能を提供する企業が増加しています。
新規事業やプロダクト開発の担当者は、ユーザーがAIをどのように活用するかというポジティブな側面だけでなく、どのように悪用し得るかというネガティブなシナリオも想定しなければなりません。例えば、他者を巧妙に中傷する文章の自動生成や、ストーカー行為を支援するような情報収集に自社のAI機能が利用された場合、サービス提供者としてのブランド毀損や、場合によっては法的責任を問われるリスクが生じます。
利用規約のアップデートとセーフガードの構築
このようなリスクに対応するためには、法務部門と連携した利用規約の整備が不可欠です。利用規約には、他者への嫌がらせ、ストーカー行為、誹謗中傷を目的としたAIの利用を明確に禁止事項として明記し、違反した場合には事前通知なしにアカウントの利用停止や契約解除ができる旨を規定しておく必要があります。
また、システム側の対策として、悪意のあるプロンプト（AIへの指示）を入力された際にAIが回答を拒否するセーフガードの実装や、開発段階で意図的に悪用を試みてシステムの脆弱性を洗い出す「レッドチーミング」と呼ばれるテスト手法を導入することが推奨されます。
社内AI導入における組織文化とハラスメント対策
この問題は、消費者向けサービスに限った話ではありません。社内業務の効率化を目的として自社専用のAI環境を構築する際にも同様の視点が求められます。
日本の企業ではパワハラ防止法（改正労働施策総合推進法）への対応が義務付けられていますが、例えば従業員が社内のAIシステムを利用して、特定の同僚を不当に評価する文章や、ハラスメントに該当するメール文面を作成するリスクもゼロではありません。AI利用に関する社内ガイドラインを策定し、技術的な監視体制と併せて、組織内の倫理教育を継続することが、日本企業の組織文化において極めて重要です。
日本企業のAI活用への示唆
本事例から得られる、日本企業に向けた実務上の要点と示唆は以下の通りです。
【悪用シナリオの事前検証】自社プロダクトにAIを組み込む際は、利便性だけでなくハラスメントや犯罪行為にどう転用されるかを多角的に検証するレッドチーミングを実施し、システムの安全装置を組み込むことが必須です。
【実行力のある利用規約と社内規程の整備】プロバイダ責任制限法などの国内法制を踏まえつつ、規約上で悪用時の即時アカウント停止の権利を確保し、実際に問題が発生した際に迅速に介入できる法的・運用的なプロセスを整える必要があります。
【AIガバナンスとコンプライアンスの統合】AIの悪用は情報セキュリティの問題であると同時に、ハラスメントや人権侵害といったコンプライアンスの問題でもあります。法務、セキュリティ、プロダクト開発の各部門が連携し、全社的なガバナンス体制を構築することが求められます。