Agent 越能动手,越要先想清楚它会被怎么坑。系统提示词写好,再对着几类典型威胁各配一道防线。
先记住这几点
- 系统提示词要有框架:先写一份总模板,再用它生成每个 Agent 的提示词,反复改进。
- 指令被篡改:校验输入、限制对话轮数。
- 越权访问:权限只给够用的,通信要加密和鉴权。
- 资源被刷:限制请求次数,设预算上限。
- 知识库被投毒:定期核对数据,只有可信的人能改。
- 连锁出错:让 Agent 在隔离环境里跑,如容器,并设人工兜底。
展开说说
提示词怎么写得稳。 先写一份'元提示词',告诉模型怎样给别的 Agent 写系统提示词。再写一个基础版的角色描述,让模型帮你优化。第一版很少一次到位,改一点,比一比,再改。
威胁与对策。 对照下面的表看:
| 威胁 | 一句话 | 怎么防 |
|---|---|---|
| 指令被篡改 | 有人通过输入改掉它的目标 | 输入过滤、限制轮数 |
| 越权访问 | 它能碰的系统太多 | 最小权限、鉴权、加密 |
| 资源被刷 | 通过它狂刷你的服务 | 请求限流、设上限 |
| 知识库投毒 | 它用的资料被人改了 | 定期核对、控制谁能改 |
| 连锁出错 | 一处出错波及别处 | 隔离环境、人工介入 |
人工介入。 重要动作(付款、删数据)让人点头,比任何提示词都可靠。

图片来自课程仓库。
动手试试
想一个你要做的 Agent,写下它能碰到的三个系统,再各写一条'最小权限'。
让 Agent 带你学
把下面这段交给你的 Agent(Claude Code、ChatGPT、Gemini 都行),它会像导师一样一步步带你。
参考
- 内容改写自 microsoft/ai-agents-for-beginners 的第 6 课(
06-building-trustworthy-agents),原项目为 MIT 许可证。 - 想看原版和完整代码:06-building-trustworthy-agents
- 全部课程见 Agent 课程路线图


评论(0)
还没有评论,来说第一句。