Q5.AIエージェントの回答精度が低い場合、どこから改善すべきですか?
回答
まず失敗事例を分類し、検索ミス(RAG)、プロンプト不足、ツール呼び出し誤り、モデル限界のどれが原因か切り分けます。データと評価セットを整えたうえで、影響の大きい原因から順に対処するのが効果的です。
精度問題は一括で「モデルを変える」前に、エラー分析(エラーバジェット)が重要です。RAGの場合は検索クエリの生成、チャンクサイズ、メタデータ付与、リランキングの改善が定番です。エージェントの場合は、ツール選択の指示が曖昧、必要なパラメータが渡せていない、ループ回数不足で途中打ち切り、といった設計問題も多いです。評価指標をタスクごとに定義(正答率、完全性、有害出力率など)し、改善前後で数値比較できる状態にします。現場の正解データを継続的に評価セットに追加する「人間フィードバックループ」が、長期的な精度維持に最も効きます。
- ●原因切り分け:検索 / プロンプト / ツール / モデル
- ●評価セットの拡充と定量的な Before/After 比較
- ●現場の修正事例を学習データではなく評価・改善素材として活用