Gemma 4 12B 无审查版在 12G 显卡上火了

分享

社区模型 Gemma 4 12B Heretic 用消融去掉了 Gemma 4 12B 的拒答倾向,压成 GGUF 后 12 GB 显卡就能跑,近 30 天下载超过 10 万次。它不是 Google 官方发布,仓库也没有放能力对比数据。整理了它是什么、各个量化文件的大小和显存要求、宣传说法哪些有依据、用之前要注意什么,附一段让 AI Agent 帮你选本地模型版本的提示词。

Hugging Face 上一个叫 Gemma 4 12B Heretic 的社区模型最近传得很火:它基于 Google 的 Gemma 4 12B 指令版,用"消融"的办法去掉了模型拒绝回答的倾向,再压缩成能在 12 GB 显卡上跑的 GGUF 文件,近 30 天的下载量超过 10 万次。不过它不是 Google 官方发布的,模型主页自己也写明"完全没有对齐"、输出什么都由使用者负责。想装之前,先把它是什么、能跑在什么机器上、风险在哪看清楚。

它是什么

  • 底子是 Gemma 4 12B:Google 的开放模型,支持看图,120 亿参数这一档对普通显卡比较友好。
  • "消融"是什么:研究者发现,模型"拒绝回答"的行为在内部大致对应一个特定方向。把这个方向从权重里抹掉,模型就很少再拒绝。这个版本用的是开源工具 Heretic 做的消融。
  • 谁发布的:社区用户 culturerevolt,不是 Google,也不是这个工具的作者。仓库今年 6 月就已经上线,最近才在中文圈传开。
  • 许可证:仓库标注 Apache 2.0。它是 Gemma 的衍生模型,Google 对 Gemma 的使用条款是否仍然适用,以 Google 官方条款为准,社区的标注不等于官方授权。

各个文件跑在什么机器上

文件 大小 仓库建议的显存
IQ3_XS 5.27 GB 8 到 12 GB,轻薄本、核显
IQ4_XS 6.64 GB 12 到 16 GB
Q4_K_M 7.38 GB 16 GB
Q5_K_M 8.55 GB 16 GB 以上
Q6_K 9.79 GB 20 到 24 GB
Q8_0 12.67 GB 24 GB

想让它看图,还要额外加载一个 0.18 GB 的视觉文件(mmproj)。文件能直接丢进 Ollama、LM Studio 这类本地工具运行,不联网也能用。12 GB 显卡更稳妥的选择是 IQ4_XS,Q4_K_M 有点吃紧,还要给长上下文留余量。

宣传里的说法,哪些有依据

  • "代码、推理、多模态能力分毫未损":仓库只写了压缩时如何尽量保住推理能力,没有放任何对比测试成绩。消融本身也可能让模型在别的地方变笨,这一点目前没有公开数据可查。
  • "官方 GGUF 仓库":不对,这是社区仓库。
  • "10 万人验证过":下载量不等于验证,只说明很多人下了。

风险在哪

去掉拒答后,模型对任何请求都会照答,也更容易照着网页、文档里藏的指令去做。

  • 接进 AI Agent 要小心:Agent 会读网页、调工具,一个不会拒绝的模型更容易被内容里藏的指令牵着走。删文件、发消息这类动作,最好只交给官方版模型。
  • 对外提供服务要自己把关:输出没有过滤,放进产品给别人用,责任在你。

先让 AI Agent 帮你判断

如果只是想在自己的电脑上跑一个本地模型,下面这段让 AI Agent 帮你选合适的版本:

我想在自己电脑上离线跑一个 Gemma 4 12B 级别的本地模型,用来 [比如 写作草稿 / 整理笔记 / 本地问答]。

1. 只读检查我的显卡型号和显存(Mac 看统一内存),告诉我适合哪种量化版本(IQ4_XS、Q4_K_M 等),留出多少上下文余量。
2. 优先推荐 Google 官方发布的 Gemma 4 12B 及其可信的 GGUF 版本,告诉我去哪里下、用 Ollama 还是 LM Studio 更省事。
3. 说明社区"无审查"版本和官方版的区别,以及用在 AI Agent 里会多出哪些风险。
4. 先只给方案,不要下载、不要安装任何东西,等我确认。

注意

  • 以官方条款为准:Gemma 的使用条款有禁止用途清单,去掉拒答不改变这些限制。
  • 下载前看清来源:社区模型可能随时被修改或下架,下载前核对发布者和文件说明。

参考

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录

继续学习

查看全部
Meta Muse 开始有自己的专属邮箱了
入门·3 分钟·2026年11月20日
把 AI 热点站改成你自己行业的日报站
入门·3 分钟·2026年11月20日
ChatGPT 语音输入能边说边出字了
入门·2 分钟·2026年11月20日