Hugging Face 上一个叫 Gemma 4 12B Heretic 的社区模型最近传得很火:它基于 Google 的 Gemma 4 12B 指令版,用"消融"的办法去掉了模型拒绝回答的倾向,再压缩成能在 12 GB 显卡上跑的 GGUF 文件,近 30 天的下载量超过 10 万次。不过它不是 Google 官方发布的,模型主页自己也写明"完全没有对齐"、输出什么都由使用者负责。想装之前,先把它是什么、能跑在什么机器上、风险在哪看清楚。
它是什么
- 底子是 Gemma 4 12B:Google 的开放模型,支持看图,120 亿参数这一档对普通显卡比较友好。
- "消融"是什么:研究者发现,模型"拒绝回答"的行为在内部大致对应一个特定方向。把这个方向从权重里抹掉,模型就很少再拒绝。这个版本用的是开源工具 Heretic 做的消融。
- 谁发布的:社区用户 culturerevolt,不是 Google,也不是这个工具的作者。仓库今年 6 月就已经上线,最近才在中文圈传开。
- 许可证:仓库标注 Apache 2.0。它是 Gemma 的衍生模型,Google 对 Gemma 的使用条款是否仍然适用,以 Google 官方条款为准,社区的标注不等于官方授权。
各个文件跑在什么机器上
| 文件 | 大小 | 仓库建议的显存 |
|---|---|---|
| IQ3_XS | 5.27 GB | 8 到 12 GB,轻薄本、核显 |
| IQ4_XS | 6.64 GB | 12 到 16 GB |
| Q4_K_M | 7.38 GB | 16 GB |
| Q5_K_M | 8.55 GB | 16 GB 以上 |
| Q6_K | 9.79 GB | 20 到 24 GB |
| Q8_0 | 12.67 GB | 24 GB |
想让它看图,还要额外加载一个 0.18 GB 的视觉文件(mmproj)。文件能直接丢进 Ollama、LM Studio 这类本地工具运行,不联网也能用。12 GB 显卡更稳妥的选择是 IQ4_XS,Q4_K_M 有点吃紧,还要给长上下文留余量。
宣传里的说法,哪些有依据
- "代码、推理、多模态能力分毫未损":仓库只写了压缩时如何尽量保住推理能力,没有放任何对比测试成绩。消融本身也可能让模型在别的地方变笨,这一点目前没有公开数据可查。
- "官方 GGUF 仓库":不对,这是社区仓库。
- "10 万人验证过":下载量不等于验证,只说明很多人下了。
风险在哪
去掉拒答后,模型对任何请求都会照答,也更容易照着网页、文档里藏的指令去做。
- 接进 AI Agent 要小心:Agent 会读网页、调工具,一个不会拒绝的模型更容易被内容里藏的指令牵着走。删文件、发消息这类动作,最好只交给官方版模型。
- 对外提供服务要自己把关:输出没有过滤,放进产品给别人用,责任在你。
先让 AI Agent 帮你判断
如果只是想在自己的电脑上跑一个本地模型,下面这段让 AI Agent 帮你选合适的版本:
我想在自己电脑上离线跑一个 Gemma 4 12B 级别的本地模型,用来 [比如 写作草稿 / 整理笔记 / 本地问答]。
1. 只读检查我的显卡型号和显存(Mac 看统一内存),告诉我适合哪种量化版本(IQ4_XS、Q4_K_M 等),留出多少上下文余量。
2. 优先推荐 Google 官方发布的 Gemma 4 12B 及其可信的 GGUF 版本,告诉我去哪里下、用 Ollama 还是 LM Studio 更省事。
3. 说明社区"无审查"版本和官方版的区别,以及用在 AI Agent 里会多出哪些风险。
4. 先只给方案,不要下载、不要安装任何东西,等我确认。
注意
- 以官方条款为准:Gemma 的使用条款有禁止用途清单,去掉拒答不改变这些限制。
- 下载前看清来源:社区模型可能随时被修改或下架,下载前核对发布者和文件说明。


评论(0)
还没有评论,来说第一句。