Supervision de l'exploitation des agents
Cas d'usage illustratif, pas une étude de cas.
Les agents en production sont surveillés pour détecter les actions échouées, la dérive de qualité, les connaissances obsolètes et les coûts inhabituels, avec des correctifs versionnés proposés et un moyen de revenir en arrière.
Le problème
Nous avons des agents en production, et nous découvrons qu'ils se sont dégradés lorsqu'un utilisateur se plaint. Personne n'est responsable du jeu d'évaluation, les connaissances sur lesquelles ils s'appuient deviennent obsolètes sans bruit, et une modification de prompt n'est pas traitée comme une modification de code.
Comment cela fonctionne aujourd'hui
La santé des agents est vérifiée en consultant occasionnellement les tableaux de bord de la plateforme et en lisant les retours des utilisateurs. Les modifications de prompts et de configuration sont faites directement en production par quiconque y a accès. Il n'y a pas d'exécution régulière d'évaluation, pas de trace de ce qui a changé et quand, et le coût est remarqué sur la facture.
Voir le scénario
Flux de travail illustratif. Sous-titré.
Transcription
- Un agent est en production. Puis ses réponses dérivent. Les coûts grimpent, les échecs se cachent dans les journaux, et personne ne sait quand il fonctionnait encore bien.
- La supervision collecte régulièrement des preuves d'exploitation, signale les problèmes émergents face à la référence convenue et propose un correctif.
- Une personne approuve chaque modification après qu'elle a réussi l'évaluation. Les modifications sont versionnées, avec un moyen de restaurer la version précédente.
- Mesuré sur taux d'échec, taux de réussite des évaluations et coût par tâche accomplie. Cas d'usage illustratif. Parlons du vôtre.
Flux de travail proposé
- Collecter en un seul endroit les journaux d'exécution des agents, les résultats des appels d'outils, les résultats d'évaluation et les données de coût
- Faire remonter les actions échouées, la dérive de qualité par rapport au jeu d'évaluation, les sources de connaissances obsolètes et les coûts inhabituels
- Proposer une remédiation telle qu'une actualisation des connaissances, une modification de configuration ou un repli temporaire
- Faire passer la proposition par le contrôle des changements comme une modification versionnée avec un chemin de retour arrière
- Confirmer le correctif par évaluation avant qu'une personne ne le promeuve en production
Où une personne garde le contrôle
- Chaque modification de prompts, de configuration ou de connaissances est versionnée, approuvée par une personne et réversible
- Une personne décide de désactiver un agent ou de basculer en repli lorsque la qualité ou le coût sort des limites
- L'évaluation doit réussir avant qu'une modification ne soit promue
Les correspondances de plateformes indiquent les environnements dans lesquels évaluer cette idée. La mise en œuvre réelle dépend de la configuration, des licences, des API, des données et des autorisations. Les bénéfices sont exprimés de manière qualitative ; toute affirmation chiffrée exige une base de référence documentée.