高级：Agent 开发 17 让 Agent 在本地跑、数据不出门

本地跑 Agent，代码和文档不用离开你的电脑，没有按量计费，断网也能用。代价是只能用小模型。

先记住这几点

• 三个好处：隐私、成本、离线。
• 小模型擅长：结构化的小任务、选工具并填参数、对自己的数据快速迭代。
• 小模型不擅长：跨长上下文的复杂推理、广泛的世界知识。
• 策略：让小模型当调度员，真正的活交给工具。
• 需要支持函数调用的模型，才能做真正的 Agent。

展开说说

怎么做。 在本机跑一个服务，它对外提供和 OpenAI 兼容的接口，这样原来调云端的写法，只要把地址改成本机就行。再给 Agent 配上本地工具，比如读文件、搜文档，让它去做真正的事。

硬件。 8GB 内存是现实的下限，16GB 以上更舒服，有 GPU 或 NPU 会更快，但不是必须。

最关键的一点：别指望小模型什么都知道。 它不必知道你的代码长什么样，只要知道什么时候去调'读文件''搜文档'。这正好是小模型擅长的。

混合用。 敏感数据留在本地处理，实在需要强推理的部分，再有选择地交给云端。

图片来自课程仓库。

动手试试

在本机装一个能跑小模型的工具，让它读你电脑上的一个文本文件并回答三个问题，看看它在哪里答不准。

让 Agent 带你学

把下面这段交给你的 Agent（Claude Code、ChatGPT、Gemini 都行），它会像导师一样一步步带你。

参考

• 内容改写自 microsoft/ai-agents-for-beginners 的第 17 课（17-creating-local-ai-agents），原项目为 MIT 许可证。
• 想看原版和完整代码：17-creating-local-ai-agents
• 全部课程见 Agent 课程路线图