Q5.プロンプトのCI/CDは、どこまで自動化するのがよいですか?
回答
Git管理・レビュー・ステージング反映は必須。本番への自動デプロイは、回帰評価が通った場合に限定するのが安全です。プロンプトも「コード」と同じ変更管理対象にします。
プロンプトをスプレッドシートや管理画面だけで直すと、誰がいつ何を変えたか追えず、品質が急落します。リポジトリにテンプレートを置き、Pull Requestで差分レビュー、タグで本番版を固定します。パイプラインでは、ステージングにデプロイ後、固定の評価セット(正答率、禁止出力の有無、レイテンシ上限)を実行し、閾値未満ならマージを止めます。完全自動本番は、トラフィックが小さい機能や、影響範囲が限定されたマイクロサービス向きです。大きな変更はカナリアやフィーチャーフラグと組み合わせます。プロンプト以外に、RAGのインデックス版やツール定義も同じパイプラインに含めないと、見かけ上プロンプトだけ戻しても挙動が戻りません。
- ●必須: バージョン管理、レビュー、ステージング、評価ゲート
- ●本番: 回帰合格後のみ、または段階的ロールアウト
- ●同梱: ナレッジインデックス・ツール定義の版も連動