Q15.本番稼働後の運用モデルと、ビジネスインパクトの測り方は?
回答
本番後は「監視・更新・教育・フィードバック」の運用サイクルを回し、精度だけでなく業務KPIとリスク指標で効果を測ります。
Go-Live後は、モデル/APIのバージョン変更、ナレッジの追加・削除、プロンプト改修を変更管理の対象にします。監視項目は、エラー率・レイテンシ・コストに加え、人の修正率・却下率・エスカレーション件数を含めます。ビジネス面では、処理時間短縮、コンバージョン、品質クレーム、従業員の再作業時間など、導入前に合意したKPIを月次でレビューします。精度(正解率)は必要だが十分ではなく、「どの判断を人に戻したか」「どの案件で売上に効いたか」まで見ると、次の展開判断ができます。年次でユースケースの存続・拡大・停止をポートフォリオとして見直すと、AI投資全体の健全性が保てます。
- ●運用: 変更窓口、ロールバック手順、問い合わせ一次対応
- ●指標: 業務KPI+人の介在率+コスト+インシデント
- ●改善: 現場フィードバック→ナレッジ/プロンプト更新のSLA
「正解率が下がったから停止」ではなく、業務リスクとコストのトレードオフで継続判断するのが実務的です。