Q11.Human-in-the-Loop(人間介在)はどこに入れるべきですか?
回答
契約、送金、外部送信、個人情報、削除・更新など、影響が大きいか取り消しにくい操作には人の承認を入れます。低影響で可逆なタスクは、検証結果と監視条件を満たす範囲で自動化します。
Human-in-the-Loopは安全弁であると同時に、現場の修正を評価セットへ還流させる入口です。介入ポイントには、出力を送信前に確認する「事前確認」、ツール実行を許可する「実行承認」、規則違反や検証失敗を人へ回す「例外ルーティング」があります。モデルの信頼度スコアは校正されていない場合があるため、スコアだけで自動化可否を決めません。操作の影響度、可逆性、入力データ、検証結果を合わせて判定し、UIでは根拠、引用、実行ログを確認できるようにします。
- ●高影響・不可逆な操作は事前承認、検証失敗はエスカレーション
- ●影響度・可逆性・検証結果で自動化範囲を決める
- ●修正フィードバックを評価セット・改善サイクルに接続
関連情報
参考にした一次資料
- Trustworthy agents in practice (Anthropic)
- Excessive Agency (OWASP Foundation)
編集: inovie編集部 | 一次資料確認日: 2026/08/25
