Q18.AI導入におけるミドルウェア(連携基盤)は、何を担わせるべきですか?
回答
認証、レート制限、ログ、データ変換、キューイング、モデルルーティングなど横断関心事を集約します。各アプリがLLM APIを直叩きすると、セキュリティとコスト管理が破綻しやすいため、早めに薄いゲートウェイでもよいので設けます。
ミドルウェア層の典型機能は、SSO連携、APIキー管理、PIIマスキング、プロンプト/レスポンスログ、コスト配賦、モデルA/B、サーキットブレーカーです。iPaaS、API Gateway、自社の「AI Platform」サービスのいずれかで実現します。設計では、ユースケースごとに直接連携させず、共通コネクタ(CRM、Storage、Vector DB)を再利用可能にします。監査要件がある場合、ログの改ざん防止と保持期間をミドルウェアで統一します。初期は過剰なマイクロサービス化を避け、モノリシックなゲートウェイ+非同期ワーカーから始め、トラフィック増に応じて分割するのが現実的です。
- ●横断: 認証・マスキング・ログ・ルーティング
- ●直叩き禁止、共通ゲートウェイで統制
- ●小さく始めてトラフィックに応じ分割