“看起来变好了”是智能体性能退化的常见原因。本课会给你一个小型评估集和一套评分流程,你可以在十分钟之内运行完,让每一次改动都有据可依。
为什么是二十个
二十个用例足以发现真正的差异,同时又小到便于维护。之后你会不断添加用例;先从二十个开始。
在修改提示词、模型或工具之前,先要知道结果是否变好了。一个小而诚实的评估集是唯一的办法,而且只需一个下午就能完成。
本文由 AI 翻译。 阅读原文

“看起来变好了”是智能体性能退化的常见原因。本课会给你一个小型评估集和一套评分流程,你可以在十分钟之内运行完,让每一次改动都有据可依。
二十个用例足以发现真正的差异,同时又小到便于维护。之后你会不断添加用例;先从二十个开始。
评论(0)
还没有评论,来说第一句。