Q16.AIエージェントでよくある失敗パターンは?
回答
幻覚による誤情報、ツールの誤呼び出し、無限ループ、権限過多による事故、コスト暴走などが代表例です。これらは設計段階のガードレールと運用監視で大半は防げます。
失敗モードを事前にリスト化し、対策をアーキテクチャに組み込むことが重要です。幻覚対策はRAGの引用強制、回答不可テンプレート、信頼度閾値でのエスカレーションです。ツール誤用はスキーマ検証、ドライラン環境、書き込み前確認で抑止します。無限ループは最大ステップ数、同一アクション繰り返し検知、タイムアウトで防ぎます。コスト暴走は1リクエストあたりのトークン上限、アラート、キューイングで制御します。組織的な失敗として、現場が使わない(UX不足)、情シスが止める(セキュリティ未整理)、PoCのまま放置、も頻出です。技術と組織の両面でリスク登録簿を作り、レビューサイクルを回しましょう。
- ●幻覚・ツール誤用・ループ・権限事故・コスト暴走
- ●各モードに技術的ガードレール + 監視アラート
- ●UXとガバナンス不足による「使われない」失敗にも注意