小

小智AI

一款开源的AI语音助手,基于廉价的ESP32开发板搭建:像使用智能音箱一样与它对话,并可自行选择由哪个AI模型来回答。

本文由 AI 翻译。 阅读原文

6 个章节1 篇教程官网

01 · 介绍

什么是小智AI

小智 AI(Xiaozhi AI,“小而聪明”之意)是一个开源项目,可以把一块 ESP32 开发板变成能说话的 AI 助手。你说“你好小智”(或你自己选定的唤醒词),提出问题,它就会开口回答。

它由两部分组成:

  • 固件(xiaozhi-esp32)运行在开发板上。听到唤醒词后它会被唤醒,录下你的声音,通过 Wi-Fi 发送出去,并播放回答。
  • 服务器负责思考。它把你的语音转成文字(ASR,语音识别),交给大语言模型生成回答(LLM),再把回答转换成语音(TTS,文本转语音)。

你可以使用项目提供的免费公共服务器,也可以用 xiaozhi-esp32-server 自行搭建。自建服务器可以让你自由选择每个环节:使用哪种语音识别、哪种声音,以及由哪个 AI 模型来回答。

02 · 适合什么场景

适用场景

  • 桌面或床头助手:回答问题、查询天气、设置提醒并播放音乐。
  • 儿童玩具或陪伴设备,可自定义角色、声音,以及它可以谈论的内容规则。
  • 智能家居语音遥控器,当服务器连接到 Home Assistant 时即可使用。
  • 学习语音 AI 的工作原理:每个环节(唤醒词、语音识别、模型、语音合成)都清晰可见,并且可以替换。

如果你只想要一台开箱即用的智能音箱,购买成品会更简单。小智适合那些希望自主选择并更换各个组件的人。

03 · 配置

如何搭建

  1. 获取受支持的开发板。 固件仓库列出了支持的开发板。板载麦克风、扬声器和屏幕的型号无需接线。
  2. 烧录固件。 使用项目提供的网页烧录工具,或下载与你的具体开发板对应的发布文件。
  3. 连接 Wi-Fi。 首次启动时,开发板会开启一个热点。用手机连接该热点,然后输入你的 Wi-Fi 信息。
  4. 绑定账户。 默认情况下,开发板连接官方公共服务器。它会播报一个验证码;在控制台网站输入该验证码,即可将开发板绑定到你的账户。在网站上,你可以选择角色、语音和模型。
  5. 可选:自建服务器。 在家里的电脑上部署 xiaozhi-esp32-server(可从源码部署,也可使用 Docker),然后将开发板的 OTA 地址 指向该服务器,例如 http://<你的电脑 IP>:8003/xiaozhi/ota/。此后,开发板将使用你自己的服务器。

04 · 使用说明

日常使用

  • 与它对话。 先说唤醒词,然后正常说话即可。追问时会保留对话的上下文。
  • 工具。 服务器可以让模型调用函数:查询天气、播放音乐、朗读新闻、控制设备。在服务器配置中,这需要启用 function_call 意图并提供插件列表。
  • 更换模型。 在你自己的服务器上,LLM 只需在 data/.config.yaml 中改一行。你可以在各种云端 API、本地模型之间切换,甚至切换到你已经登录的 Claude 和 Codex 命令行工具。
  • 查看日志。 当回答有误或速度较慢时,服务器日志会显示听到了什么、模型返回了什么,以及每个步骤各耗时多久。

05 · 注意事项

需要注意的事项

  • 每一次回答都要通过网络传到你所用的服务器。 如果使用公共服务器,你的语音和问题就会经过别人的机器。
  • 延迟会不断累加。 语音识别、模型和语音合成都需要时间。简短的回答加上快速的模型,才能让对话感觉自然。
  • 角色提示词要简短,并且适合口语。 让它只回答一两句话。篇幅长、带格式的回答念出来很难听。
  • 固件必须与开发板匹配。 给其他开发板刷入固件,可能会导致屏幕或音频失灵。重新刷入正确的固件即可修复。

06 · 资源

链接

我的笔记

登录后可以在这本手册上记私人笔记。登录