代理維運監控
示意性應用情境，並非案例研究。
監控運作中的代理是否出現失敗操作、品質漂移、知識過期與異常成本，提出具版本的修正方案並可回復。
問題
我們有代理在正式環境運行，卻要等到使用者抱怨才發現它們已經退化。沒有人負責評估集，代理依賴的知識悄悄過時，而提示詞的變更也沒有被當作程式碼變更來對待。
目前做法
代理的健康狀況靠偶爾查看平台儀表板與閱讀使用者回饋來檢查。提示詞與組態變更由任何有權限的人直接在正式環境進行。沒有定期的評估執行，沒有記錄何時變更了什麼，成本則是在收到帳單時才被注意到。
查看情境
示意性工作流程。含字幕。
逐字稿
- 一個代理已經上線。接著它的回答開始漂移。成本攀升，失敗藏在記錄裡，沒有人確定它上一次正常運作是什麼時候。
- 監控依排程收集維運證據，對照協議的基準線標記新浮現的問題，並提出修復建議。
- 每項變更通過評估後，由人員核准。變更經版本化管理，並可還原至前一版本。
- 衡量指標：失敗率、評估通過率，以及每項完成任務的成本。示意性應用情境。歡迎討論您的情境。
建議的工作流程
- 將代理執行記錄、工具呼叫結果、評估結果與成本資料集中收集於一處
- 揭示失敗的行動、對照評估集的品質漂移、過時的知識來源與異常成本
- 提出修復建議，例如知識更新、組態變更或暫時回退
- 將建議作為附回滾路徑的版本化變更送交變更控管
- 在人員將修復推送至正式環境之前，先透過評估確認
人員保有掌控權的環節
- 提示詞、組態或知識的每一項變更皆經版本化、由人員核准且可逆
- 當品質或成本超出界線時，由人員決定是否停用代理或切換至回退機制
- 變更推送之前必須通過評估
平台對應僅表示可評估此構想的環境。實際導入取決於設定、授權、API、資料與權限。效益以定性方式描述；數值化的主張需有書面記錄的基準。