OpenAI 收购的这个开源工具,专门破解你的 AI 应用

分享

promptfoo 是一个开源 AI 红队测试工具,内置 50+ 漏洞检测插件,能自动对 AI 应用做越狱、注入、数据泄漏等安全攻击测试,GitHub 27k+ star,MIT 协议。

来源GitHub · promptfoo/promptfoo报道于 2026年11月15日尚未实测

你花了几个月搭的 AI 应用,上线前有没有想过:如果有人故意给它喂恶意指令,它会不会把不该说的东西全吐出来?promptfoo 就是专门干这件事的——一个开源的 AI 红队测试工具,帮你在上线前把安全漏洞找出来。

它到底能测什么

promptfoo 内置了 50 多种漏洞检测插件,覆盖面很广。简单列一下核心能力:

测试方向 具体内容
越狱攻击 自动生成对抗性 prompt,尝试绕过模型的安全护栏
提示词注入 模拟攻击者在用户输入中嵌入恶意指令
数据泄漏 检查模型是否会泄露训练数据或系统 prompt
RAG 投毒 针对检索增强生成架构的专项攻击测试
合规审查 对标 OWASP 和 NIST 等安全标准,也覆盖 EU AI Act
自定义策略 按你自己的业务规则定义检测条件

不管你的 AI 应用是聊天机器人、RAG 系统还是带工具调用的 Agent,都能测。

怎么用

三条命令就能跑起来:

npx promptfoo@latest redteam setup   # 打开配置界面,填入你的应用信息
npx promptfoo@latest redteam run     # 自动生成几百条对抗性输入并执行
npx promptfoo@latest redteam report  # 查看漏洞报告

setup 阶段会让你填应用的用途描述和接入方式(HTTP 接口、Python 脚本或直连模型都行),然后选要跑哪些攻击插件。跑完之后会生成一份带严重级别的漏洞报告,每条都附上了触发漏洞的原始输入和修复建议。

支持的模型很全,OpenAI 和 Anthropic Claude 这些大厂不用说,Google Gemini 和 DeepSeek 也在列,本地跑的 Ollama 同样支持。

为什么值得关注

promptfoo 在 GitHub 上拿了 27k+ star,MIT 协议完全开源。今年被 OpenAI 收购后仍然保持开源状态。它的核心卖点是所有测试数据都在本地运行,prompt 不会被发送到第三方服务器。

对开发者来说,它还能集成到 CI/CD 流水线里,每次代码提交自动跑一轮安全扫描,防止新功能引入新漏洞。

如果你手上有在跑的 AI 应用,可以直接把下面这段话丢给你的 AI Agent:

帮我用 promptfoo 对我的 AI 应用做一次红队安全测试。先运行 npx promptfoo@latest redteam setup 配置目标应用,然后执行 redteam run 生成对抗性测试,最后用 redteam report 查看结果。重点关注越狱攻击和提示词注入这两类漏洞。

要求 Node.js 22.22 以上,npx 一行就能跑,不用全局安装。

GitHub · 文档

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录

继续学习

查看全部
Meta Muse 开始有自己的专属邮箱了
入门·3 分钟·2026年11月20日
把 AI 热点站改成你自己行业的日报站
入门·3 分钟·2026年11月20日
ChatGPT 语音输入能边说边出字了
入门·2 分钟·2026年11月20日