英伟达在 GitHub 上开源了 SkillEvaluator(Apache-2.0),专门检查 AI Agent 的 Skill 写得好不好、装上之后到底有没有帮上忙。最基础的一轮检查不用 API key、不用显卡,几分钟就能给你的 Skill 打个分。真正值得看的是它的第三层:同一批任务,装 Skill 和不装 Skill 各跑一遍,对比结果差多少。
它会检查什么
Skill 就是一个文件夹,里面是写给 AI Agent 的说明和配套文件。SkillEvaluator 把检查分成三层,每层可以单独跑:
| 层 | 回答什么问题 | 需要准备什么 |
|---|---|---|
| 第一层:基础检查 | 格式对不对、安不安全、Claude Code 和 Codex 这类主流 Agent 能不能正常加载 | 不用 API key;会自动下载安全扫描工具 |
| 第二层:查重 | 说明里有没有重复啰嗦的地方,和你装的其他 Skill 会不会说法打架 | 要接一个模型做语义比对 |
| 第三层:实战对比 | 同样的任务,Agent 装了这个 Skill 后是不是真的做得更好 | 要模型额度、受支持的 Agent,以及 Docker 沙盒 |
第一层跑完会给一个 100 分制的分数和等级,默认 70 分及格,同时列出具体哪里扣了分。官方自带的示例 Skill 拿了 86.2 分(B)。
分数高不等于好用
第一层只看"写得规不规范",就像体检单上的指标,能帮你发现硬伤,比如加载不了,说明写得含糊,或者可能泄露密钥。但一个 Skill 有没有价值,要看 Agent 装了它之后,做同一件事的结果有没有明显变好。这只有第三层能回答。
所以比较实际的用法是:
- 日常写完先跑第一层:免费、快,把格式和安全问题先清掉。
- 准备公开分享或给团队用的 Skill,再跑第三层:用几个真实任务对比装和不装的差别,没差别的 Skill 不如删掉,省得白占上下文。
- Skill 多了跑一次第二层:看看有没有几个 Skill 在说同一件事,或者互相矛盾。
怎么上手
最省事的办法是让你的 AI Agent 自己装、自己跑,你只看结果:
我想检查一下自己写的 Agent Skill 质量怎么样。请用英伟达开源的 SkillEvaluator(GitHub:NVIDIA/SkillEvaluator)帮我做:
1. 先读它的 README,确认当前的安装方式,装之前告诉我要装什么
2. 只跑第一层(不需要 API key 的那种),检查这个 Skill:[你的 Skill 文件夹路径]
3. 用大白话告诉我:总分和等级、扣分最多的三项、每项怎么改
4. 只把明显的格式问题直接改掉,涉及 Skill 内容和做法的改动先列给我看,等我确认
5. 第二层和第三层先不要跑,它们要用模型额度或 Docker,先告诉我大概要准备什么、会不会花钱
改完再跑一遍第一层,把前后分数对比给我。
先只跑第一层,是因为它不花钱、不用配环境,最适合先摸清问题;第三层要真跑 Agent,费时也可能产生费用,确认值得再做。
注意
- 第三层可能花钱:要调用模型、运行 Agent,用托管沙盒也会计费,跑之前先看清楚用量。
- 会自动下载扫描工具:第一层缺扫描工具时会自己去下载,公司电脑有限制的话先问一下管理员。
- 示例分数只是参考:86.2 分是官方示例 Skill 的成绩,你的 Skill 分数取决于写法,不同版本的评分规则也可能调整。
想知道别人的评测结论该不该信,可以看这条经验:思路一样,拿你自己的任务再比一遍。


评论(0)
还没有评论,来说第一句。