{无需用脑}把本教程一键复制给 Agent 即可

本文有一段关键内容上了锁,Agent 打开链接也看不到它。请先解锁,再一键复制完整内容给 Agent。

让 AI Agent 用原声给视频配上外语

分享

入门教程:用我们自己做双语视频的本地方法,让 AI Agent 听写出带时间的原文,按每句时长翻译,用 F5-TTS 克隆原来的声音逐句合成并放回原时间点,最后换上新音轨和字幕,附中文多音字念错的纠正方法和 3 段可直接复制的提示词。

你会得到什么

一条视频,让 AI Agent 帮你换成另一种语言的配音,用的还是原来那个人的声音,每句放回原来的时间点,画面不动,最后附上新字幕。全部在你自己的电脑上跑,免费。文中有三段可以直接复制的提示词。

这就是我们自己做双语教程视频的方法:主持人英文原声,中文版用克隆的同一个声音配,每条视频都这么做。画面里没人对着镜头说话的片子(解说、录屏、旁白)效果最好,有人出镜时嘴型对不上,能看出是配音。

流程:听写、按时长翻译、克隆声音配音、按时间拼回、换上字幕

我们的做法

  • 听写带时间:先把原来的话逐句写下来,每句带开始和结束时间。听写会出错,要核一遍。

  • 按时长翻译:每句译文念出来不能比原句长,长度问题在翻译时解决。

  • 克隆原声逐句合成:用开源的 F5-TTS,拿一段 5 到 10 秒干净的原声当参考,逐句合成新语言。

  • 放回原来的时间点:每句从原句开始的地方播;比原句长就加速,最多 1.25 倍,再快就不自然,宁可回去改短译文;最后统一响度。

我们把这套做法写成了一个 Skill(写给 AI Agent 的专业说明书):video-dub,里面带一个小脚本,四条命令就跑完上面四步。

第 1 步:让 AI Agent 装好

请安装这个 Skill:https://cwyz.com/api/skills/video-dub/raw
1. 先读完全文,用大白话告诉我它会装什么、要占多大空间。
2. 按 Skill 的说明准备环境:ffmpeg、F5-TTS、faster-whisper。装任何东西、下载模型之前先问我。
3. 装好后用一句"你好,这是一次测试。"试合成,把音频文件给我听。

第 2 步:听写,再按时长翻译

这段关键内容需要登录后解锁

新用户注册就送 10 积分,之后每天登录再送 1 积分,当天不登录不送。用 1 积分解锁,以后随时回来都能看。

我们拿一条自己的英文片子实际跑过:听写把"scout it first"听成了"scouted first",意思全变了,所以第 1 条一定要你看一眼。

第 3 步:克隆声音配音,拼回去

按确认好的表格继续:
1. 从原视频里挑一段 5 到 10 秒、干净没有杂音的原话当声音参考,告诉我选了哪段、原文是什么。
2. 用 F5-TTS 逐句合成,合成时自动套用 Skill 里的多音字替换表。
3. 按原来的时间把每句放回去,加速最多 1.25 倍。放不下的句子列给我改短,不要再加速。
4. 换上新音轨出一个新视频,再按表格做一份字幕文件。
5. 把脚本提示"要听一下"的句子列给我,我逐句听。

中文多音字念错怎么办

克隆的声音碰到多音字常念错,比如"多行"念成 xíng,"重新"念成 zhòng。我们的办法是只改送进模型的文字,字幕不动:把那个词换成读音完全相同的另一个字,再合成。

原文送进模型读音多行多航duō háng重新虫新chóng xīn行业航业háng yè调用掉用diào yòng

规矩只有一条:声母、韵母、声调都要一样,差一个声调都不行。Skill 里已经带了一张我们攒下的替换表,合成时自动套用;还剩下多音字的句子,脚本会列出来让你听。听到新的念错,就让 AI Agent 把这个词加进替换表,重新合成那一句。英文缩写念不准也一样处理,比如把"API"写成"A P I"。

换一个模型:IndexTTS

B 站开源的 IndexTTS(最新是 IndexTTS2.5)也能做同样的事,碰到下面三种情况更合适:

  • 要配日语、西班牙语、阿拉伯语:它支持中、英、日、西、阿五种语言,能跨语言克隆。

  • 要商用:它的许可证允许商用,只有月活超过 1 亿或年收入超过 10 亿元的公司要另外申请。

  • 多音字想一步到位:它能直接写拼音指定读音,不用再找同音字绕。

换法很简单:只把第 3 步的合成换成 IndexTTS,按表格编号把每句存成 <编号>.wav 放进同一个文件夹,听写、按时长翻译、放回原时间点这几步完全不变。韩语它目前不支持,可以用 CosyVoice。

注意

  • 只克隆你有权使用的声音:自己的声音,或者对方同意的声音。

  • F5-TTS 的模型不能商用:代码是 MIT,但预训练模型是 CC-BY-NC 许可证,商用视频换成 IndexTTS 这类允许商用的模型。

  • 上传时标明是 AI 配音:YouTube 这类平台要勾选 AI 生成或修改过的内容。

参考

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录