把本教程一键复制给 Agent 即可

本文有一段关键内容上了锁,Agent 打开链接也看不到它。请先解锁,再一键复制完整内容给 Agent。

高级:Agent 开发 06 先认清让 Agent 不靠谱的几类威胁

开发者进阶教程:做可信的 Agent 要管好系统提示词,并认清六类常见威胁:指令被篡改、越权访问、资源被刷、知识库被投毒、连锁出错,以及怎么防。

Agent 越能动手,越要先想清楚它会被怎么坑。系统提示词写好,再对着几类典型威胁各配一道防线。

先记住这几点

  • 系统提示词要有框架:先写一份总模板,再用它生成每个 Agent 的提示词,反复改进。
  • 指令被篡改:校验输入、限制对话轮数。
  • 越权访问:权限只给够用的,通信要加密和鉴权。
  • 资源被刷:限制请求次数,设预算上限。
  • 知识库被投毒:定期核对数据,只有可信的人能改。
  • 连锁出错:让 Agent 在隔离环境里跑,如容器,并设人工兜底。

展开说说

提示词怎么写得稳。 先写一份'元提示词',告诉模型怎样给别的 Agent 写系统提示词。再写一个基础版的角色描述,让模型帮你优化。第一版很少一次到位,改一点,比一比,再改。

威胁与对策。 对照下面的表看:

威胁 一句话 怎么防
指令被篡改 有人通过输入改掉它的目标 输入过滤、限制轮数
越权访问 它能碰的系统太多 最小权限、鉴权、加密
资源被刷 通过它狂刷你的服务 请求限流、设上限
知识库投毒 它用的资料被人改了 定期核对、控制谁能改
连锁出错 一处出错波及别处 隔离环境、人工介入

人工介入。 重要动作(付款、删数据)让人点头,比任何提示词都可靠。

Agent 面临的几类威胁

图片来自课程仓库。

动手试试

想一个你要做的 Agent,写下它能碰到的三个系统,再各写一条'最小权限'。

让 Agent 带你学

把下面这段交给你的 Agent(Claude Code、ChatGPT、Gemini 都行),它会像导师一样一步步带你。

这段关键内容需要登录后解锁

新用户注册就送 10 积分,每天签到再领 1 积分。用 1 积分解锁,以后随时回来都能看。

参考

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录