Supervisión de la operación de agentes
Caso de uso ilustrativo, no un caso de éxito.
Los agentes en producción se vigilan para detectar acciones fallidas, deriva de calidad, conocimiento obsoleto y costes inusuales, con correcciones versionadas propuestas y una forma de revertir.
El problema
Tenemos agentes en producción y nos enteramos de que se han degradado cuando un usuario se queja. Nadie es responsable del conjunto de evaluación, el conocimiento en el que se apoyan queda obsoleto sin que nadie lo note, y un cambio en un prompt no se trata como un cambio en el código.
Cómo funciona hoy
La salud de los agentes se comprueba mirando de vez en cuando los paneles de la plataforma y leyendo los comentarios de los usuarios. Los cambios en prompts y configuración los hace directamente en producción quien tenga acceso. No hay una ejecución regular de evaluación, ni un registro de qué cambió cuándo, y el coste se descubre en la factura.
Vea el escenario
Flujo de trabajo ilustrativo. Subtitulado.
Transcripción
- Un agente está en producción. Sus respuestas empiezan a derivar. Los costes suben, los fallos se esconden en los registros y nadie sabe cuándo funcionó bien por última vez.
- La supervisión recoge evidencia operativa de forma programada, señala problemas emergentes frente a la línea base acordada y propone una corrección.
- Una persona aprueba cada cambio después de que supere la evaluación. Los cambios están versionados, con vía de reversión a la versión anterior.
- Medido en tasa de fallos, tasa de superación de la evaluación y coste por tarea completada. Caso de uso ilustrativo. Hablemos del suyo.
Flujo de trabajo propuesto
- Reunir en un solo lugar los registros de ejecución de los agentes, los resultados de las llamadas a herramientas, los resultados de evaluación y los datos de coste
- Detectar acciones fallidas, deriva de calidad frente al conjunto de evaluación, fuentes de conocimiento obsoletas y costes inusuales
- Proponer una corrección, como una actualización del conocimiento, un cambio de configuración o un modo alternativo temporal
- Enrutar la propuesta a través del control de cambios como un cambio versionado con vía de reversión
- Confirmar la corrección mediante evaluación antes de que una persona la promueva a producción
Dónde mantiene el control una persona
- Cada cambio en prompts, configuración o conocimiento está versionado, aprobado por una persona y es reversible
- Una persona decide si desactivar un agente o pasar al modo alternativo seguro cuando la calidad o el coste se salen de los límites
- La evaluación debe superarse antes de promover un cambio
La asignación a plataformas indica los entornos en los que evaluar esta idea. La implementación real depende de la configuración, las licencias, las API, los datos y los permisos. Los beneficios se expresan de forma cualitativa; las afirmaciones numéricas requieren una línea base documentada.