智能体运营监控
示意性用例，并非案例研究。
监控运行中的智能体是否出现失败操作、质量漂移、知识过期与异常成本，提出带版本的修复方案并可回滚。
问题
我们有智能体在生产环境中运行，但往往等到用户投诉才发现它们已经退化。没有人负责评估集，它们依赖的知识悄然过时，而对提示词的修改也不像代码变更那样受到管理。
当前做法
智能体的健康状况靠偶尔查看平台仪表盘和阅读用户反馈来检查。提示词和配置的修改由任何有权限的人直接在生产环境中进行。没有定期的评估运行，没有何时改了什么的记录，成本则要到账单上才被注意到。
查看场景
示意性工作流程。含字幕。
文字稿
- 一个智能体已经上线。随后它的回答开始漂移。成本攀升，失败隐藏在日志里，没有人确定它上一次正常运行是什么时候。
- 监控按计划收集运营证据，对照商定的基线标记新出现的问题，并提出修复方案。
- 每项变更通过评估后，由人审批。变更经过版本化管理，并可恢复到上一版本。
- 衡量指标：失败率、评估通过率和每完成任务的成本。示意性用例。欢迎探讨您的用例。
拟议工作流程
- 将智能体运行日志、工具调用结果、评估结果和成本数据集中到一处
- 呈现失败的操作、相对评估集的质量漂移、过时的知识来源和异常成本
- 提出修复方案，例如知识更新、配置变更或临时回退
- 将方案作为带回滚路径的版本化变更提交变更控制
- 在由人将修复推广至生产环境之前，通过评估确认其有效
人员保持掌控的环节
- 对提示词、配置或知识的每项变更都经过版本化管理、由人审批并可逆
- 当质量或成本超出边界时，由人决定是否停用智能体或切换至回退方案
- 变更推广之前必须通过评估
平台映射仅表示可评估此构想的环境。实际实施取决于配置、许可、API、数据和权限。收益以定性方式表述；数值化的说法需要有书面记录的基线。