你花了几个月搭的 AI 应用,上线前有没有想过:如果有人故意给它喂恶意指令,它会不会把不该说的东西全吐出来?promptfoo 就是专门干这件事的——一个开源的 AI 红队测试工具,帮你在上线前把安全漏洞找出来。
它到底能测什么
promptfoo 内置了 50 多种漏洞检测插件,覆盖面很广。简单列一下核心能力:
| 测试方向 | 具体内容 |
|---|---|
| 越狱攻击 | 自动生成对抗性 prompt,尝试绕过模型的安全护栏 |
| 提示词注入 | 模拟攻击者在用户输入中嵌入恶意指令 |
| 数据泄漏 | 检查模型是否会泄露训练数据或系统 prompt |
| RAG 投毒 | 针对检索增强生成架构的专项攻击测试 |
| 合规审查 | 对标 OWASP 和 NIST 等安全标准,也覆盖 EU AI Act |
| 自定义策略 | 按你自己的业务规则定义检测条件 |
不管你的 AI 应用是聊天机器人、RAG 系统还是带工具调用的 Agent,都能测。
怎么用
三条命令就能跑起来:
npx promptfoo@latest redteam setup # 打开配置界面,填入你的应用信息
npx promptfoo@latest redteam run # 自动生成几百条对抗性输入并执行
npx promptfoo@latest redteam report # 查看漏洞报告
setup 阶段会让你填应用的用途描述和接入方式(HTTP 接口、Python 脚本或直连模型都行),然后选要跑哪些攻击插件。跑完之后会生成一份带严重级别的漏洞报告,每条都附上了触发漏洞的原始输入和修复建议。
支持的模型很全,OpenAI 和 Anthropic Claude 这些大厂不用说,Google Gemini 和 DeepSeek 也在列,本地跑的 Ollama 同样支持。
为什么值得关注
promptfoo 在 GitHub 上拿了 27k+ star,MIT 协议完全开源。今年被 OpenAI 收购后仍然保持开源状态。它的核心卖点是所有测试数据都在本地运行,prompt 不会被发送到第三方服务器。
对开发者来说,它还能集成到 CI/CD 流水线里,每次代码提交自动跑一轮安全扫描,防止新功能引入新漏洞。
如果你手上有在跑的 AI 应用,可以直接把下面这段话丢给你的 AI Agent:
帮我用 promptfoo 对我的 AI 应用做一次红队安全测试。先运行
npx promptfoo@latest redteam setup配置目标应用,然后执行redteam run生成对抗性测试,最后用redteam report查看结果。重点关注越狱攻击和提示词注入这两类漏洞。
要求 Node.js 22.22 以上,npx 一行就能跑,不用全局安装。

评论(0)
还没有评论,来说第一句。