生成AIの活用が急速に進む一方で、著名なAI研究者ゲイリー・マーカス氏は、依然として解決されない「ハルシネーション(もっともらしい嘘)」の問題に警鐘を鳴らしています。ベンダーが語る甘い見通し(Promises)を鵜呑みにせず、日本企業が実務においてどのようにAIの信頼性と向き合い、ガバナンスを構築すべきかを解説します。
「ハルシネーション」は過去の問題ではない
生成AIブームの火付け役となった大規模言語モデル(LLM)ですが、その進化の速度とは裏腹に、初期から指摘されていた根源的な課題は完全には解決されていません。AI研究者であり、過度なAIハイプ(誇大広告)への批判でも知られるゲイリー・マーカス氏は、最新の投稿で「ハルシネーション(幻覚)」の問題が依然として深刻であることを指摘しています。
ハルシネーションとは、AIが事実に基づかない情報を、さも事実であるかのように自信満々に生成してしまう現象です。マーカス氏が触れているように、米国では弁護士が業務でChatGPTを使用し、実在しない判例を引用して裁判所に提出してしまうという事案が複数発生しています。これは「プロンプトエンジニアリングが甘かった」という一言で片付けられる問題ではなく、現在のLLMが持つ「確率的に次の単語を予測する」という仕組み上の限界を示唆しています。
ベンダーの「約束」とエンジニアリングの「現実」
AIモデルを提供するベンダーや一部のエバンジェリストは、「モデルが大規模化すれば精度は上がる」「次のバージョンでは解決される」といった「約束」を繰り返してきました。しかし、実務の現場では、99%の精度が出ても、残りの1%の嘘がクリティカルな事故につながる可能性があります。
特に日本の商習慣において、企業の公式見解や法的文書、顧客への回答における誤りは、深刻な信用失墜(レピュテーションリスク)に直結します。「AIがやったことなので」という言い訳は、日本社会では通用しません。したがって、企業は「いつかAIが完璧になる」という期待に依存するのではなく、「AIは間違える可能性がある」という前提に立ったワークフローを設計する必要があります。
日本企業における「Human in the Loop」の重要性
では、ハルシネーションリスクを抱えるAIを、日本企業はどのように活用すべきでしょうか。鍵となるのは、業務プロセスの中に必ず人間による確認工程を組み込む「Human in the Loop(ヒューマン・イン・ザ・ループ)」の徹底です。
例えば、カスタマーサポートの自動化において、AIに回答案を作成させる(下書き)までは任せても、最終的な送信ボタンは人間が内容を確認してから押す、といった運用が現実的です。また、社内ドキュメントを検索・要約させるRAG(検索拡張生成)という技術も注目されていますが、これも参照元のデータが古ければ誤回答を生みますし、AIが参照元を読み間違える可能性もゼロではありません。
正確性が求められる法務、金融、医療などの領域では、AIはあくまで「優秀なドラフト作成者」あるいは「壁打ち相手」として位置づけ、事実確認(ファクトチェック)の責任は人間が負うという構造を明確にする必要があります。
日本企業のAI活用への示唆
ゲイリー・マーカス氏の指摘を踏まえ、日本企業の意思決定者や実務担当者は以下のポイントを重視してAI導入を進めるべきです。
- 「できないこと」の直視:AIベンダーのマーケティングメッセージと、技術的な現実の乖離を冷静に見極めてください。ハルシネーションは現時点では「バグ」ではなく「仕様」に近い特性です。
- 利用ガイドラインの策定と教育:従業員に対し、AIの出力を無批判に信じることのリスクを教育してください。特に「機密情報の入力禁止」だけでなく、「出力情報の裏取り(検証)義務」をガイドラインに明記することが重要です。
- 責任分界点の明確化:AIが生成した成果物によって損害が発生した場合、誰が責任を負うのか。法的な観点も含め、社内規定や契約書(対顧客、対パートナー)における責任の所在をクリアにしておく必要があります。
- 適用領域の選定:「創造性」が求められるブレインストーミングやコピーライティングと、「正確性」が求められる調査・回答業務を区別し、後者にはより厳格な人間による監督プロセスを適用してください。
