Q7.AI機能のユーザーフィードバックループは、どう設計しますか?
回答
👍/👎だけでなく、「どの部分が誤りか」「期待した出力は何か」を構造化して収集し、評価セットとプロダクトバックログに直結させます。
フィードバックは収集して終わりにせず、週次で分類(検索ミス、プロンプト、ツール、UI、ポリシー違反)し、優先度付けします。UIでは、回答の段落単位での報告、修正後のテキストの差分保存(同意がある範囲で)、再生成理由の選択肢を用意すると、分析がしやすくなります。PdMは定性コメントを、エンジニアはトレースIDと紐づけた再現手順を、同じチケットで見られるようにします。プライバシー上、自由記述に顧客名を書かせないガイドと、社内閲覧権限の制限が必要です。四半期ごとに「フィードバックから追加した評価ケース数」をメトリクスにすると、ループが回っているか可視化できます。
- ●収集: 構造化(部位・期待値・カテゴリ)+トレースID
- ●活用: 評価セット追加、バックログ、週次の原因分類
- ●運用: プライバシー、閲覧権限、定着のKPI化