投稿者 global-ai-media 
海外の研究で、主要な生成AIが健康や医療に関する質問に対して高い割合で不適切な回答を行うことが報告されました。本記事では、この事実を起点に、日本企業がヘルスケア領域や従業員向けサービスでAIを活用する際の法的リスクと、実践的なガバナンス構築のポイントを解説します。
生成AIによる健康情報への警告とハルシネーションのリスク
海外の最新の研究において、主要な大規模言語モデル（LLM）が健康や医療に関する質問に対して問題のある回答を生成する割合が非常に高いことが指摘されました。報告によると、不適切な回答の割合はGrokで58%、ChatGPTで52%、Meta AIで50%に上るとされています。この結果は、生成AIが持つ「ハルシネーション（もっともらしいが事実とは異なる情報を生成してしまう現象）」が、ユーザーの健康や生命に関わる領域において重大なリスクを引き起こす可能性を示唆しています。
生成AIは膨大なデータから確率的に言葉を紡ぎ出す技術であり、医学的な正当性や個別の症状に基づいた専門的な推論を行っているわけではありません。そのため、一般的な質問応答や文章作成には極めて有用ですが、正確性が絶対的に求められる医療・ヘルスケア領域にそのまま適用することには限界があります。
日本における法規制の壁：医師法と薬機法
日本国内でAIを活用した新規事業やサービス開発を検討する際、特にヘルスケア領域においては法規制への深い理解が不可欠です。代表的なものとして「医師法」と「医薬品、医療機器等の品質、有効性及び安全性の確保等に関する法律（薬機法）」が挙げられます。
医師法第17条では、医師でなければ医業を行ってはならないと定められています。AIチャットボットがユーザーの症状を聞き出し、「あなたは〇〇という病気の可能性が高いので、この薬を飲んでください」といった個別具体的な診断や処方指示に相当する回答を行うことは、無資格医業とみなされる法的リスクをはらんでいます。また、特定のサプリメントや健康食品を推奨する際にも、薬機法に基づく誇大広告や未承認医薬品の広告規制に抵触する恐れがあります。
プロダクト開発と組織運用におけるリスク対応
こうしたリスクが存在するからといって、日本企業がAIの活用を一律に断念する必要はありません。重要なのは、リスクを正しく認知し、技術的・運用的な対策を講じることです。たとえば、従業員向けのメンタルヘルス相談AIや、顧客向けの健康アドバイスボットを開発する場合、以下のようなアプローチが有効です。
第一に、RAG（Retrieval-Augmented Generation：検索拡張生成）技術の活用です。AIが学習した汎用的な知識に頼るのではなく、厚生労働省のガイドラインや自社の専門医が監修したドキュメントなど、信頼できる特定のデータベースのみを参照して回答を生成させることで、不正確な情報の出力を大幅に抑えることができます。
第二に、ガードレール（不適切な入力や出力をシステム的にブロックする仕組み）の設定とUI/UXの工夫です。医療的な診断を求めるプロンプト（指示）が入力された場合には回答を拒否し、「必ず医療機関を受診してください」と定型文を返すような制御を組み込むことが推奨されます。また、免責事項を明確に表示し、あくまで情報提供の補助ツールであることをユーザーに認識させる設計も、日本の商習慣においてトラブルを防ぐための重要なステップです。
日本企業のAI活用への示唆
今回の海外における警告を踏まえ、日本企業がAIの実装と運用を進める上での要点と実務への示唆を整理します。
1. ユースケースの適切な選定：AIの得意・不得意を理解し、診断や治療といったクリティカルな領域ではなく、医療従事者の事務作業の効率化や、一般的な健康関連規定の検索補助など、リスクの低い領域から導入を進めることが賢明です。
2. 法務・コンプライアンス部門との早期連携：プロダクト担当者やエンジニアだけで仕様を決定するのではなく、企画の初期段階から法務部門を巻き込み、医師法や薬機法、個人情報保護法などの観点からレビューを行う体制を構築してください。
3. AIガバナンスと継続的モニタリング：AIモデルの挙動はアップデートによって変化する可能性があります。一度システムを構築して終わりではなく、定期的にテストプロンプトを入力して回答の安全性を検証するなど、継続的なモニタリング体制を社内に根付かせることが、持続可能なAI活用の鍵となります。