投稿者 global-ai-media 
最新の研究により、ChatGPTなどの大規模言語モデル（LLM）が、ソーシャルメディアや医療メモ上の「もっともらしい」誤情報を真実として受け入れてしまうリスクが指摘されています。本稿では、この事例を単なる医療分野の問題としてではなく、企業がRAG（検索拡張生成）やナレッジ活用を進める上での普遍的な課題として捉え直し、日本企業が取るべき対策を解説します。
文脈に流されるAI：情報の「真偽」より「形式」を優先する脆弱性
最近の研究において、ChatGPTをはじめとする主要なAIモデルが、ソーシャルメディアや医療記録の形式で提示された場合、医学的な誤情報を事実として受け入れやすいという結果が報告されました。ここで注目すべき点は、AIが単に間違った知識を持っているわけではなく、入力された情報の「コンテキスト（文脈）」や「もっともらしさ」に強く影響されるという点です。
大規模言語モデル（LLM）は、確率的に次に来る言葉を予測する仕組みで動作しています。そのため、専門的な用語が並び、医師が書いたような文体や、SNSでの真剣な議論のような形式（フォーマット）で情報が与えられると、その内容が客観的事実と反していても、「この文脈ではこれが正解である」と推論してしまう傾向があります。これは、AIが「空気を読む」能力に長けていることの裏返しであり、悪意のある入力や、意図せぬ誤情報の混入に対して脆弱であることを示唆しています。
企業内データ活用（RAG）における隠れたリスク
この問題は医療分野に限った話ではありません。現在、多くの日本企業が導入を進めている「RAG（検索拡張生成）」においても同様のリスクが潜んでいます。RAGは、社内規定や過去のドキュメントをAIに参照させて回答を生成させる技術ですが、参照元となる社内データに「もっともらしい誤り」が含まれていた場合、AIはそれを増幅して回答する可能性があります。
例えば、過去の営業日報に、事実とは異なるが説得力のある顧客分析が残されていたとします。AIはその内容を「正」として学習・参照し、誤った戦略を提案するかもしれません。特に日本では、稟議書や日報など「形式」が整った文書が重視される商習慣がありますが、形式が整っているからといって内容が常に正しいとは限りません。AIは人間のように「行間を読んで疑う」という批判的思考（クリティカルシンキング）を自律的に行うわけではないため、データの品質管理がこれまで以上に重要になります。
「幻覚」ではなく「汚染」への対策
これまでAIのリスクとしては、AIが事実に基づかない嘘をつく「ハルシネーション（幻覚）」が主に議論されてきました。しかし、今回の事例が示すのは、外部からの情報によってAIの判断が歪められる「データポイズニング」や「プロンプトインジェクション」に近いリスクです。
生成AIをプロダクトに組み込む場合、あるいは社内のナレッジ検索に利用する場合、入力ソース（参照元データ）の信頼性をどのように担保するかが鍵となります。インターネット上の情報をリアルタイムで検索して回答するタイプのAIエージェントを開発する場合、SEO対策された「もっともらしい偽情報サイト」をAIが参照してしまうリスクも考慮しなければなりません。
日本企業のAI活用への示唆
以上の背景を踏まえ、日本企業の実務担当者は以下の点に留意してAI活用を進めるべきです。
- データガバナンスの徹底と「データの断捨離」
「とりあえず全ての社内データをAIに読ませる」というアプローチは危険です。古い規定、誤った内容を含む議事録、主観的な日報などは、AIの判断を狂わせるノイズになります。AIに参照させるデータは、人間が一度精査した「ホワイトリスト」形式の高品質なデータセットに限定する運用が推奨されます。 - 出典の明示と人間による最終確認（Human-in-the-Loop）
AIが生成した回答には、必ず「どのドキュメントを根拠にしたか」を明示させる機能を実装すべきです。特に医療、法務、金融といった規制産業や、経営判断に関わる領域では、AIはあくまで「ドラフト作成者」に留め、最終的なファクトチェックは必ず専門知識を持つ人間が行うプロセスを業務フローに組み込む必要があります。 - AIリテラシー教育のアップデート
従業員に対し、「AIは賢いので正しい答えを知っている」という誤解を解く教育が必要です。「AIは文脈に合わせて、もっともらしい答えを作る確率モデルである」という本質を理解させ、提示された情報を鵜呑みにせず、ソースを確認する習慣を組織文化として定着させることが、AI時代のリスク管理となります。