#本地模型
带有「本地模型」标签的教程、项目案例和资讯,共 5 篇。
Gemma 4 12B 无审查版在 12G 显卡上火了推荐
社区模型 Gemma 4 12B Heretic 用消融去掉了 Gemma 4 12B 的拒答倾向,压成 GGUF 后 12 GB 显卡就能跑,近 30 天下载超过 10 万次。它不是 Google 官方发布,仓库也没有放能力对比数据。整理了它是什么、各个量化文件的大小和显存要求、宣传说法哪些有依据、用之前要注意什么,附一段让 AI Agent 帮你选本地模型版本的提示词。
跑 AI 的本地主机用不上就趁早卖
128GB 统一内存的 DGX Spark 生图、生视频、跑小模型还行,跑主流大模型不够用;有人判断大内存机器半年多后会变普及(个人判断)。买前按眼下要跑的模型定内存,闲置的趁二手价还高出手。
二手工作站看着便宜,先把缺的东西补齐再算价
低价二手工作站常是不带显卡、内存、硬盘的准系统,装系统也可能卡住。下单前列齐配件清单再算总价,附一段让 AI Agent 帮你算的提示词。
显卡降价想捡漏,先确认这张卡真能跑 AI
二手显卡和矿卡价格诱人,型号、保修和散热比价格重要:挖矿卡只有个别型号被解锁过,改显存后温度难控。附一段验货提问的提示词。
为了跑本地大模型买大内存前,先算这笔账
内存大只说明模型装得下,不说明跑得动。买硬件前先看速度、内存搭配和模型水平,再和订阅比一年的花费,附算账提示词。
