エージェント運用の監視
例示ユースケースであり、顧客事例ではありません。
稼働中のエージェントについて、失敗した処理、品質の低下、古くなった知識、異常なコストを監視し、バージョン管理された修正案をロールバック可能な形で提案します。
課題
本番にエージェントがあるが、劣化に気づくのはユーザーが苦情を言ったときだ。評価セットの責任者がおらず、依存しているナレッジは静かに古くなり、プロンプトの変更がコードの変更のように扱われていない。
現在の進め方
エージェントの状態は、プラットフォームのダッシュボードを時々眺めることと、ユーザーのフィードバックを読むことで確認されています。プロンプトと設定の変更は、アクセス権を持つ人が本番環境で直接行っています。定期的な評価の実行はなく、いつ何が変わったかの記録もなく、コストは請求書で初めて気づきます。
シナリオを見る
ワークフローの例示です。字幕付き。
文字起こし
- エージェントが稼働しています。やがて回答がずれ始めます。コストは上がり、失敗はログに埋もれ、最後に正常だったのがいつか誰にも分かりません。
- 監視は運用上のエビデンスを定期的に集め、合意したベースラインに照らして発生しつつある問題を示し、修正を提案します。
- 各変更は評価に合格した後、人が承認します。変更はバージョン管理され、前のバージョンに戻す手段があります。
- 測定するのは失敗率、評価合格率、完了タスクあたりのコストです。例示ユースケースです。貴社のケースについてご相談ください。
提案するワークフロー
- エージェントの実行ログ、ツール呼び出しの結果、評価結果、コストデータを一か所に集める
- 失敗したアクション、評価セットに対する品質劣化、古くなったナレッジソース、異常なコストを可視化する
- ナレッジの更新、設定変更、一時的なフォールバックなどの修正を提案する
- 提案をロールバック経路を持つバージョン管理された変更として変更管理に回す
- 人が本番へ昇格させる前に、評価によって修正を確認する
人が判断を担う箇所
- プロンプト、設定、ナレッジへのすべての変更はバージョン管理され、人が承認し、元に戻せる
- 品質やコストが範囲を外れた場合にエージェントを無効化するかフォールバックに切り替えるかは人が決める
- 変更を昇格させる前に評価に合格しなければならない
プラットフォームの対応付けは、この構想を評価しうる環境を示すものです。実際の実装は、設定、ライセンス、API、データ、権限によって異なります。効果は定性的に記載しており、数値による主張には文書化されたベースラインが必要です。