投稿者 global-ai-media 
生成AIに社内データを読み込ませる「RAG」の導入が進む一方で、本番環境での回答精度に悩む企業が増えています。その原因の多くはLLMの性能ではなく、データを分割する「チャンク化」の失敗にあります。
はじめに：PoCで成功したRAGが本番環境でつまずく理由
社内の規程やマニュアル、過去の提案書などを生成AIに読み込ませ、業務効率化を図る手法である「RAG（Retrieval-Augmented Generation：検索拡張生成）」の導入が、多くの日本企業で進んでいます。しかし、少量のデータを用いたPoC（概念実証）では素晴らしい回答を見せていたAIが、いざ本番環境（プロダクション）で全社データを対象に稼働し始めると、途端に「的外れな回答をする」「必要な情報を見つけられない」といった問題に直面することが少なくありません。
海外のデータサイエンス領域でも指摘されている通り、この問題の根本原因は「LLM（大規模言語モデル）の性能」にあるとは限りません。多くの場合、LLMに回答の根拠となる適切なテキストを渡すための「検索システム」の側に問題があり、さらに言えば、テキストを分割する「チャンク化（Chunking）」の失敗がボトルネックになっているのです。
チャンク化（テキスト分割）が検索精度を左右する
RAGの基本的な仕組みは、膨大な社内文書をそのままLLMに読み込ませるのではなく、あらかじめデータを意味のある小さな単位（チャンク）に分割し、ベクトルデータベースに保存しておくというものです。ユーザーが質問をした際、システムはその質問に関連するチャンクを検索して抽出し、LLMに「この情報を元に回答してください」と指示を出します。
もし、LLMに正しい文脈（コンテキスト）を含んだチャンクが渡されれば、LLMはためらうことなく正確な回答を生成します。しかし、機械的に「500文字ごと」といった単純なルールでテキストを分割してしまうと、文脈が途中で途切れたり、重要なキーワードと詳細な説明が別々のチャンクに分かれたりしてしまいます。その結果、検索システムが適切なチャンクを見つけられず、LLMは「情報がありません」と答えるか、誤った情報を作り出す（ハルシネーション）ことになります。
日本企業の社内文書とチャンク化の相性の悪さ
特に日本企業の場合、この「チャンク化」の難易度がさらに高まる傾向があります。日本の商習慣や組織文化において、社内文書は独特の複雑さを持っているからです。
たとえば、日本の業務マニュアルや稟議書は、Excelの複雑なセル結合を用いた表計算ファイルや、Wordでの階層化された箇条書き、さらには「別紙参照」といった形で複数ファイルにまたがる情報構造が頻繁に用いられます。また、日本企業特有の組織略称や、文脈に強く依存する「暗黙の了解」が含まれていることも少なくありません。
このような文書を文字数だけで機械的にチャンク化すると、表の見出しとデータが分離して意味を成さなくなったり、主語が欠落したチャンクが大量に生成されたりします。日本の複雑な文書構造を理解し、意味的なまとまり（セマンティック・チャンキング）を維持したまま分割しなければ、本番環境に耐えうるRAGシステムを構築することは困難です。
実運用に耐えうるRAGを構築するためのアプローチ
この課題を解決し、実務で使えるRAGを構築するためには、データの前処理に目を向ける必要があります。LLMのAPIや高価なモデルの選定に時間をかけるよりも、社内文書をいかに適切にチャンク化し、検索しやすい状態に整えるかが重要です。
具体的には、文書の構造（見出し、段落、表など）を解析して意味の切れ目で分割する手法や、各チャンクに対して「どのプロジェクトの資料か」「いつ作成されたか」といったメタデータを付与して検索精度を高める手法が有効です。また、LLM自体を用いて、分割されたチャンクの内容を要約し、検索用のキーワードを自動付与するといった工夫も、多くの実運用環境で成果を上げています。
一方で、複雑すぎるExcelファイルや、画像として保存された古いPDFなど、技術的な前処理だけでは限界があるデータも存在します。RAGの導入を機に、社内文書のフォーマットを標準化したり、AIが読み取りやすいドキュメント作成のガイドラインを整備したりといった、業務プロセス自体の見直しも同時に検討すべきでしょう。
日本企業のAI活用への示唆
本番環境におけるRAGの課題から見えてくる、日本企業への実務的な示唆は以下の3点です。
1つ目は、LLMの性能評価から「データパイプラインの品質管理」へのシフトです。回答精度の低さをLLMのせいにせず、データを分割・検索する仕組み（チャンク化やベクトル検索）の最適化にリソースを割く必要があります。AIの賢さは、与えられるデータの質に直結しています。
2つ目は、日本の文書構造に合わせた前処理の徹底です。暗黙知や複雑な表計算ファイルが多い日本企業のドキュメントを、そのままAIに放り込んでも成果は出ません。意味的なまとまりを維持したテキスト抽出や、メタデータの設計など、地道なデータエンジニアリングがプロジェクトの成否を分けます。
3つ目は、AI導入を契機としたドキュメント文化の変革です。最新のAI技術を既存の複雑な業務フローに無理やり合わせるのではなく、「AIが読み取りやすいデータを作る」という視点で、社内の文書フォーマットや情報共有のあり方を見直すことが、真の意味での業務効率化とデジタルトランスフォーメーション（DX）につながります。