高级：Agent 开发 10 让你看清上线后的 Agent 在干什么

Agent 不能是黑盒：上线后要能看到每一步做了什么、花了多少钱、哪里出错，才谈得上改进。

先记住这几点

• 一次完整任务是一条 trace，里面每一步（调模型、查数据）是 span。
• 上线要看：延迟、成本、请求错误、用户反馈、准确率。
• 用户反馈有显式的（点赞、评分）和隐式的（反复追问、点重试）。
• 可以用模型打分，也可以用开源库做自动评估。

展开说说

为什么要看。 出错时靠追踪定位是哪一步；成本和速度靠它发现哪一步太贵太慢；安全合规靠它留下审计记录；改进靠它拿到真实数据。

要盯的指标。

指标	看什么
延迟	整个任务和每一步用了多久，必要时换更快的模型或并行
成本	每次运行花多少，异常飙升多半是死循环
错误	接口失败、工具失败，配重试和备选
用户反馈	评分、评论；也看用户是不是反复问同一句
准确率	先定义什么算对，再用标记或评分统计

评估。 上线前用固定的测试集比版本，上线后看真实流量，两边的结果互相喂养。

图片来自课程仓库。

动手试试

给你的一个 Agent 加一条日志：每次运行记录开始、每次工具调用、总耗时和 token 数，再看看哪一步最贵。

让 Agent 带你学

把下面这段交给你的 Agent（Claude Code、ChatGPT、Gemini 都行），它会像导师一样一步步带你。

参考

• 内容改写自 microsoft/ai-agents-for-beginners 的第 10 课（10-ai-agents-production），原项目为 MIT 许可证。
• 想看原版和完整代码：10-ai-agents-production
• 全部课程见 Agent 课程路线图