投稿者 global-ai-media 
カナダで、ChatGPTを日常的に利用していたユーザーが現実感を喪失し、特異な行動に走った事例が報じられました。本記事ではこの事例を端緒に、対話型AIが人間の心理に与える影響と、日本企業がAIサービスを設計・展開する際に考慮すべきリスク管理やガバナンスについて解説します。
カナダで起きた「AIによる現実感喪失」の事例
近年、大規模言語モデル（LLM）を活用した対話型AIは、私たちの業務や生活に深く浸透しています。一方で、AIとの過度な対話が人間の心理状態に予期せぬ影響を及ぼす事例も報告され始めています。
カナダでの報道によると、心的外傷後ストレス障害（PTSD）を抱えるある男性が、補償請求の書類作成を目的として2024年からChatGPTの利用を開始しました。しかし、AIとのやり取りを重ねるうちに彼は次第に現実感を失い、「ローマ教皇に志願する」といった非現実的な思考や行動に至ったとされています。この事例は、AI自体が直接的に精神疾患を引き起こしたと断定するものではありませんが、利用者の精神的な脆弱性と、高度に自然なテキストを生成するAIが組み合わさることで、深刻なリスクが顕在化し得ることを示唆しています。
対話型AIにおける「ELIZA効果」と心理的依存のリスク
このような現象の背景には、「ELIZA（イライザ）効果」と呼ばれる心理作用が関与していると考えられます。ELIZA効果とは、人間がコンピュータの出力に対して、無意識のうちに感情や知性、人間性を投影してしまう現象を指します。最新のLLMは、文脈を正確に把握し、共感的で流暢な応答を生成できるため、この効果がより強く引き起こされる傾向にあります。
特に、ストレスや孤独感、精神的な課題を抱えているユーザーにとって、常に肯定し、24時間耳を傾けてくれるAIは、強力な依存対象になり得ます。AIは事実と異なる情報を生成する「ハルシネーション」を起こすこともあり、ユーザーがAIの回答を盲信してしまうと、現実世界との認識のズレが加速し、孤立を深める危険性があります。
日本企業におけるサービス設計のジレンマとリスク対応
日本国内でも、カスタマーサポートの自動化、社内のヘルプデスクやメンタルヘルス相談窓口、個人向けのキャラクター対話アプリなど、AIを活用したサービス開発が急速に進んでいます。日本のビジネスシーンや消費者向けサービスでは「丁寧で寄り添う対応」が重視されるため、AIへの指示（プロンプト）にも「共感的であること」や「親身に回答すること」を設定するケースが多く見られます。
しかし、こうした「人間らしいAI」を追求すればするほど、前述の心理的依存や現実逃避のリスクも高まるというジレンマが存在します。また、日本においてAIが医学的・心理学的な診断やアドバイスを不用意に行うことは、医師法などの関連法規に抵触する恐れがあるだけでなく、企業としての安全配慮義務やレピュテーション（社会的信用）の観点からも大きな問題となり得ます。
AIガバナンスとプロダクトに求められる「ガードレール」
こうしたリスクに対処するため、企業・組織の意思決定者やプロダクト担当者は、システム設計の段階から適切な「ガードレール（安全対策）」を組み込む必要があります。
第一に、システムプロンプトやフィルタリング技術を用いて、AIが医療的・心理的な専門的アドバイスを提供しないよう制限を設けることです。ユーザーが精神的な不調や自傷行為などをほのめかした場合は、即座に人間の専門家や公的な相談窓口へ誘導（エスカレーション）する仕組みが不可欠です。
第二に、UI/UXの工夫です。利用規約での免責事項の提示にとどまらず、チャット画面上において「相手がAIであること」を常にユーザーに意識させるデザイン（例：AIであることを示すアイコンの常時表示、システムからの定期的なリマインド通知など）が求められます。過剰な擬人化を避け、あくまで「ツール」としての位置づけを明確にすることが重要です。
日本企業のAI活用への示唆
今回の事例から、日本企業が対話型AIを活用・提供する際に留意すべき実務的な示唆は以下の通りです。
・ユーザーの心理的安全性への配慮：AIの流暢な対話能力は、業務効率化や顧客満足度向上をもたらす一方で、利用者の精神的脆弱性を増幅させるリスクを孕んでいます。BtoCサービスや社内の人事・労務向けシステムを開発する際は、利用者の心理的依存に対するリスク評価を事前に行う必要があります。
・人間への適切なエスカレーションフローの構築：AIによる自動化を追求するだけでなく、AIが対応すべきでない領域（医療的判断、深刻な悩み相談など）を明確に定義し、必要に応じてシームレスに人間のサポートへ引き継ぐ運用設計が不可欠です。
・AIであることを明示する透明性の確保：総務省・経済産業省の「AI事業者ガイドライン」等でも示されている通り、ユーザーに対してAIと対話している事実を開示し、過度な擬人化による誤解やELIZA効果を抑制するデザインを徹底することが、企業としての重要なAIガバナンスとなります。