Q13.コンテキストウィンドウ(一度に渡せる情報量)の限界は、業務でどう影響しますか?
回答
長い契約書や全社FAQを一度に貼っても、末尾や中間が無視されたり要約が粗くなったりします。分割・要約・検索(RAG)で「その都度必要な断片」だけ渡す設計が必要です。
モデルには入力トークン上限があり、見かけ上収まっても重要条項が落ちることがあります。対策は、全文投入ではなく章ごとの処理、階層要約(章要約→統合)、ベクトル検索で関連段落だけ取得する方法です。会話が長いチャットでは、古い指示が薄れるため、システムプロンプトの再注入やセッション分割を行います。表やコードはトークンを多く消費するため、CSVの先頭行だけ、関数単位などに分割します。業務要件定義では「最大入力サイズ」と「許容レイテンシ」を先に決め、それに合うモデル選定とパイプライン設計を行ってください。
- ●分割: 章・条・チケット単位での処理
- ●RAG: 質問に関連するチャンクだけをコンテキストに
- ●運用: 長会話は新規スレッド+要約引き継ぎ