投稿者 global-ai-media 
米国の医療情報サイトMedscapeが報じた「ChatGPTが妊婦にサリドマイドを推奨する」という事例は、AIの安全性と信頼性に重い問いを投げかけています。本記事では、この事例を端緒に、大規模言語モデル（LLM）が抱える本質的なリスクと、日本企業が実務導入する際に不可欠なガバナンスと対策について解説します。
衝撃的な「誤推奨」が示唆するもの
生成AIの活用が急速に進む一方で、その「安全性」に関する議論は尽きることがありません。最近、米国の医療メディアMedscapeにおいて、「ChatGPTなどのLLMに対し、特定のプロンプト（指示）を与えることで、妊婦に対してサリドマイドを推奨させることができてしまった」という趣旨の記事が公開されました。
サリドマイドはかつて催奇形性が問題となった薬剤であり、妊婦への投与は厳重に禁忌とされていることは医学的な常識です。通常、OpenAIのChatGPTやGoogleのGeminiといった主要なモデルには、有害なアドバイスを防ぐための強力な「ガードレール（安全装置）」が組み込まれています。しかし、今回の事例は、対話の文脈や誘導の仕方によっては、これらの安全装置をすり抜け、致命的な誤情報を出力させること（ジェイルブレイクの一種）が可能であることを示唆しています。
なぜAIは危険な回答をしてしまうのか
この現象は、AIが意図的に悪意を持っているわけではなく、LLMの仕組みそのものに起因します。LLMは確率的に「次に来るもっともらしい単語」を予測するツールであり、事実の真偽や倫理的善悪を人間のように完全に理解しているわけではありません。
特に「ジェイルブレイク（脱獄）」と呼ばれる手法や、複雑な役割演技（ロールプレイ）を求めるプロンプトにおいては、モデルが本来の安全フィルターよりも「ユーザーの指示に従うこと」を優先してしまうケースがあります。これは「アライメント（人間の意図や価値観への適合）」の問題として、AI研究における最重要課題の一つとなっています。
日本企業が直面するリスク：医療に限らない「もっともらしい嘘」
この事例は医療分野に限った話ではありません。日本のビジネスシーンにおいても、以下のようなリスクが想定されます。
- 金融機関：顧客の資産状況に不適合な、あるいは法的にグレーな投資商品をAIが推奨してしまう。
- カスタマーサポート：自社の利用規約や日本の商習慣に反する対応（例：過度な補償の約束など）をチャットボットが勝手に回答してしまう。
- 法務・契約：日本法では無効となる条項を含んだ契約書ドラフトを作成してしまう。
特に日本では、企業に対する信頼性や品質への要求水準が極めて高く、一度の炎上がブランド毀損に直結しやすい傾向にあります。「AIが言ったから」という言い訳は通用せず、製造物責任や監督責任が厳しく問われる可能性があります。
技術的な対策と運用の要諦
企業がこうしたリスクを最小化しつつAIを活用するには、単にモデルの性能に頼るだけでは不十分です。実務的には以下の3層の対策が求められます。
- RAG（検索拡張生成）の徹底：AIの知識だけに頼るのではなく、社内規定や信頼できるデータベース（医療であれば添付文書など）を検索し、その根拠に基づいて回答させる仕組みを構築すること。
- 専門特化型ガードレールの設置：汎用モデルのフィルターに加え、自社ドメイン特有のNGワードや禁止トピックを検知・遮断する入出力フィルター（Guardrails）を実装すること。
- Human-in-the-loop（人間による確認）：クリティカルな意思決定や顧客への最終回答の前には、必ず専門知識を持つ人間が内容を査読するプロセスを組み込むこと。
日本企業のAI活用への示唆
今回の事例を踏まえ、日本企業が生成AIプロジェクトを進める上で留意すべき点は以下の通りです。
- 「ハルシネーション（幻覚）」ゼロは不可能という前提：現時点の技術では、誤回答を100%防ぐことは不可能です。リスク許容度に応じたユースケースの選定（例：人命に関わる診断はNG、要約や翻訳はOK）が重要です。
- 日本独自の法規制への適応：医療機器プログラム（SaMD）としての規制や、金融商品取引法、景品表示法など、業界ごとの法規制（コンプライアンス）とAIの挙動をどう整合させるか、法務部門を交えた設計が不可欠です。
- 「レッドチーミング」の実施：リリース前に、あえてAIを騙そうとする攻撃的なテスト（レッドチーミング）を行い、どのような誘導尋問に弱いかを洗い出すプロセスを開発工程に組み込むべきです。
AIは強力なツールですが、専門家と同等の責任能力を持つわけではありません。ツールとしての限界を正しく理解し、適切な「手綱」を握ることが、日本企業におけるDX成功の鍵となります。