高级：一张显卡自建能听出语气、会笑会叹气的实时语音助手

你会得到什么

用开源的 Sophon-Realtime，在一张 80 GB 显存的显卡上自建一个实时语音助手。它边听边想，你说完零点几秒就开口。你嘴上说"我没事"，它能听出你声音发紧。该笑的时候它会真的笑出声，你中途插话，它马上停下来听你说。代码和模型权重都是 Apache-2.0，可以免费商用。文中有 3 段可以直接复制的提示词。

它是给要做语音产品的人用的，不是装在手机上的 App。 自己部署要租一张大显卡，按小时付费。只想听听效果，第 1 步的在线试玩就够了。

它和普通语音助手差在哪

常见的语音助手是"三段式"：先把你的话转成文字，再让大模型写回复，最后念出来。中间每一步都在丢东西，最先丢的就是语气。Sophon-Realtime 的做法不一样。

一直在听：你每停顿一下，它都会判断你是说完了、还在想，还是只是"嗯"一声，不会抢话，也不会傻等。
听得出怎么说的：同一句"我很好"，笑着说和咬着牙说，它的回应不一样。按项目自己的测试，它在语气理解上的分数排在公开模型第一。
回复带表演：它写回复时会标出哪里该笑、哪里叹气，哪里清嗓子或加重语气，声音模型照着演出来，而不是把"[笑]"这个字念出来。
可以随时打断：你插话时它立刻停，后面的对话只记它真正说出口的那部分。

第 1 步：先在线试，听听值不值得部署

项目在 ModelScope 上放了一个在线试玩页面，打开浏览器、允许麦克风就能直接对话。试的时候专门测这几件事：

用很丧的语气说"我挺好的"，看它会不会追问。
它说到一半时直接插话，看它停得快不快。
跟它讲一件开心的事，听它会不会跟着笑。
换成你的产品真正会用的语言（中文、英文都完整支持，意大利语、德语、西班牙语、法语、葡萄牙语也能对话）。

觉得效果对路，再往下做。仓库首页还有一段没剪辑、没加速的英文实录，可以先看看。

第 2 步：选一个版本

三个版本共用同一个"大脑"（一个 32B 的模型），区别只在回复怎么变成声音：

Tag（推荐）FlashE2E（预览）适合陪伴、角色、演示，要声音有表演客服、车载、并发量大研究端到端语音开口速度约 0.6 秒约 0.31 秒约 1 秒一张 80 GB 显卡能接16 人同时说话40 人4–5 人显卡1 张1 张2 张

拿不准就先选 Tag。Tag 和 Flash 接口完全一样，以后想换随时换。

第 3 步：租一张显卡，让 Agent 部署

它需要 Linux、NVIDIA 显卡（80 GB 显存，例如 H100 或 A100 80G）和 Python 3.12，第一次启动会下载约 42 GB 的模型。家用电脑跑不动，去任意一家按小时租 GPU 的云平台开一台机器，再把下面这段发给 Claude Code 或 Codex，让它通过 SSH 替你装：

这段关键内容需要登录后解锁

新用户注册就送 10 积分，每天签到再领 1 积分。用 1 积分解锁，以后随时回来都能看。

几处写法的用意：

先检查再安装：显存不到 80 GB、CUDA 版本不对或磁盘不够，任何一项出问题都会装到一半失败，白白多付几小时机器钱。
不暴露端口：语音服务谁连上都能用，开在公网等于让别人花你的显卡钱，还可能被拿去录音。
最后一条别省：按小时计费的显卡，忘了关机一晚上就是一笔不小的钱。

第 4 步：接进你自己的应用

服务启动后有两个入口。一个是边说边听的实时连接（WebSocket，格式跟 OpenAI 的 Realtime 接口相似），一个是"发一段录音、收文字加语音"的普通接口。已经在用 OpenAI 实时语音的项目，主要是换地址。从零开始的，让 Agent 先给你做一个能对着麦克风说话的测试网页：

我的 Sophon-Realtime 服务通过 SSH 隧道开在本机的 [ws://127.0.0.1:8000/v1/realtime]。请帮我做一个最简单的网页来测试它：
1. 一个按钮开始或结束对话，打开麦克风，把我的声音实时发给服务，把它的语音实时播放出来。
2. 页面上同时显示双方说的文字。
3. 先读仓库里实时接口的说明，按它要求的音频格式发送，不要自己猜。
4. 只在本机运行，不要部署到公网。
做完告诉我怎么打开，以及怎么测试"中途打断它"。

想让它帮用户查订单、订座位这类真正做事的场景，仓库还有一个 Live 模式。语音这边由 Sophon 负责说话，查资料和执行操作交给你后台的系统或更大的模型，它再把结果说出来。

第 5 步：给它换上你的人设（可选）

默认的它是个通用助手。想让它变成你品牌的客服、某个角色，或者懂你行业的知识，可以用 LoRA 微调（一种只改模型一小部分、成本很低的训练方法），一张 80 GB 显卡就能做，声音、语气标签和插话能力都会保留。先让 Agent 读一遍仓库 finetune/ 目录下的说明，再告诉它你要什么样的人设：

请读 https://github.com/adventists-ai/sophon-realtime 里 finetune/ 目录的说明，帮我规划一次 LoRA 微调：
1. 我想要的人设是：[一句话描述，例如"一家宠物店的客服，说话温和，会推荐商品"]。
2. 告诉我需要准备多少条、什么格式的对话数据，给我 3 条示例让我照着写。
3. 估算一次训练要多长时间、大概多少显卡费用。
先给方案，等我确认再开始。

注意

租 80 GB 显卡按小时收费，测试完记得关机。正式上线前先算清楚每小时能接多少人、每个人的成本是多少。
README 里的跑分大多是团队自己测的，按自己的产品场景实测一遍再决定。
别让它冒充真人：用户打来电话或语音聊天时，要让对方知道在跟 AI 说话，录音和转写也要按当地规定保存和告知。
日语、俄语目前只在 Flash 版本可用，韩语还在路上。

参考

GitHub：adventists-ai/sophon-realtime（Apache-2.0）
在线试玩：ModelScope 上的 Sophon-Realtime
模型权重：Hugging Face（Tag 版）

它的"耳朵"是同一团队开源的 DuplexJev，专门判断该不该接话、有没有被打断、对方是什么情绪。