Мониторинг эксплуатации агентов
Иллюстративный сценарий использования, а не кейс клиента.
Работающие агенты отслеживаются на предмет неудачных действий, снижения качества, устаревших знаний и необычных затрат; предлагаются версионированные исправления с возможностью отката.
Проблема
У нас есть агенты в продуктивной среде, и о том, что они деградировали, мы узнаём, когда жалуется пользователь. Никто не отвечает за набор для оценки, знания, на которые они опираются, незаметно устаревают, а изменение промпта не считается изменением кода.
Как это работает сегодня
Состояние агентов проверяется эпизодическим просмотром панелей платформы и чтением отзывов пользователей. Изменения промптов и конфигурации вносятся прямо в продуктивной среде тем, у кого есть доступ. Нет регулярного прогона оценки, нет записи о том, что и когда изменилось, а затраты замечают по счёту.
Посмотрите сценарий
Иллюстративный рабочий процесс. С субтитрами.
Текстовая версия
- Агент запущен. Затем его ответы начинают отклоняться от прежнего уровня качества. Затраты растут, сбои прячутся в журналах, и никто не уверен, когда он в последний раз работал хорошо.
- Мониторинг по расписанию собирает эксплуатационные данные, выявляет возникающие проблемы относительно согласованного базового уровня и предлагает исправление.
- Человек утверждает каждое изменение после того, как оно прошло оценку. Изменения версионируются, с возможностью вернуть предыдущую версию.
- Измеряем долю сбоев, долю пройденных оценок и стоимость выполненной задачи. Иллюстративный сценарий использования. Давайте обсудим ваш.
Предлагаемый рабочий процесс
- Собрать в одном месте журналы запусков агентов, результаты вызовов инструментов, результаты оценки и данные о затратах
- Выявлять неудачные действия, дрейф качества относительно набора для оценки, устаревшие источники знаний и необычные затраты
- Предлагать исправление, например обновление базы знаний, изменение конфигурации или временный резервный режим
- Проводить предложение через контроль изменений как версионированное изменение с путём отката
- Подтверждать исправление через оценку, прежде чем человек переведёт его в продуктивную среду
Где контроль остаётся за человеком
- Каждое изменение промптов, конфигурации или знаний версионируется, утверждается человеком и обратимо
- Человек решает, отключить ли агента или переключиться на резервный режим, когда качество или затраты выходят за границы
- Оценка должна быть пройдена до перевода изменения в продуктивную среду
Привязка к платформам указывает среды, в которых имеет смысл оценить эту идею. Фактическая реализация зависит от конфигурации, лицензий, API, данных и прав доступа. Преимущества описаны качественно; числовые утверждения требуют задокументированной базовой линии.