米国のイェール大学美術館で、ChatGPTが展示品の壺について「私はこれを手に持っている」と語ったという事例が報告されました。一見、笑い話のように思えるこの出来事は、生成AIをビジネスに導入する日本企業にとって、極めて重要な「ハルシネーション(幻覚)」と「身体性の欠如」という課題を浮き彫りにしています。
物理的な実体のないAIが「体験」を語る危うさ
最近、イェール大学美術館の収蔵品である土器(壺)について、ChatGPTが「この醸造用の壺を手に持ってみると……」といった趣旨の記述を生成したという事例が話題となりました。AIには手も身体もなく、当然ながら物理的に壺を持つことは不可能です。
なぜこのような現象が起きるのでしょうか。大規模言語モデル(LLM)は、インターネット上の膨大なテキストデータを学習しています。そのデータの中には、学芸員や批評家、あるいは過去の所有者が「この壺を手に取った時の感触」を情緒的に記した文章が含まれていた可能性があります。LLMは確率的に「次に続く最もらしい言葉」を紡ぎ出すため、文脈によっては、学習データに含まれる「人間の身体的な体験」を、さも自分自身の体験であるかのように出力してしまうのです。
日本企業におけるビジネス活用のリスク
この事例は、日本企業がカスタマーサポートやマーケティングに生成AIを組み込む際、無視できないリスクを示唆しています。
例えば、食品メーカーが自社ECサイトにAIチャットボットを導入したとします。顧客から「このお菓子の味はどうですか?」と聞かれた際、AIが「私が食べたときは、口の中でとろけるような甘さを感じました」と答えたらどうなるでしょうか。これは単なる比喩表現を超え、消費者に対して「誤認」を与える可能性があります。特に日本の商習慣において、事実に基づかない体験談は「虚偽の説明」や「景品表示法」等の観点からコンプライアンス上の問題に発展する恐れがあります。
また、製造現場や保守点検のナレッジ検索において、AIが「現場のバルブを左に回したときの手応え」など、実際には存在しないマニュアル外の感覚的な記述を生成してしまえば、重大な事故につながるリスクさえあります。
「人間らしさ」の演出と「誠実さ」のバランス
昨今のAI開発では、より自然で人間らしい対話(Human-like interaction)が追求されています。しかし、「人間らしさ」を追求するあまり、AIに身体性があるかのような「ロールプレイ(役割演技)」を過剰に許容することは危険です。
日本では「誠実さ」や「信頼」がビジネスの根幹をなします。AIが平然と「嘘の体験」を語ることは、ユーザー体験(UX)を著しく損ない、「不気味の谷(人間に似すぎたロボット等に対して抱く嫌悪感)」現象を引き起こす原因にもなり得ます。
企業は、AIシステムのプロンプトエンジニアリング(指示出し)において、「あなたはAIであり、物理的な身体を持っていません」「実体験に基づかない主観的な感想は述べないでください」といったガードレール(制約)を明確に設ける必要があります。
日本企業のAI活用への示唆
今回の事例から、日本のAI導入担当者が学ぶべきポイントは以下の3点です。
1. AIの「身体性」に関する境界線の設定
カスタマーサービス用ボットなどの設計において、AIが物理的な行為(食べる、触る、行く)を行ったかのような表現を禁止するシステムプロンプトを実装してください。共感を示すこと(「お困りのことと存じます」)と、嘘の体験を語ること(「私も困ったことがあります」)は明確に区別する必要があります。
2. RAG(検索拡張生成)における出典の明確化
社内文書やマニュアルを基に回答させるRAG等の技術を使う場合でも、参照元のテキストが「誰の体験」なのかをAIが誤読する可能性があります。回答には必ず参照元を明示させ、ユーザーが事実確認できるUI/UXを設計することが、ガバナンスの観点から重要です。
3. リテラシー教育と期待値の調整
社内外の利用者に対し、「AIは事実を理解しているわけではなく、言葉を確率的に繋げているだけである」という基本特性を周知する必要があります。特に日本ではAIに対する過度な擬人化や期待が生じやすいため、ツールとしての限界を正しく理解してもらうことが、トラブル防止の第一歩となります。
