Voicebox

Voicebox 是 Meta AI 在 2023 年公布的一个语音生成研究模型，基于非自回归的 flow matching 架构，通过大规模数据学习「文本引导的语音填充」任务。它要解决的是语音合成中风格迁移、内容编辑和噪声修复等需要分别建模的问题，用一个模型统一处理。

主要能力

给定一段参考音频和文本，Voicebox 可以合成与参考音色、背景噪声和说话风格一致的语音，也就是零样本 TTS。它还能跨语言迁移风格，例如用一段法语提示音生成英语语音，并保持文本与语音的时间对齐，可用于配音转换。此外，它能把录音中门铃、狗叫之类的瞬态噪声「擦掉」重新生成干净语音，也能在不重录的情况下替换说错的词。

语言与效率

多语言版本覆盖英语、法语、德语、西班牙语、波兰语和葡萄牙语六种语言，训练数据约 5 万小时；纯英语版本用了 6 万小时。官方称其生成速度比当时最好的自回归模型快最多 20 倍。

使用限制

目前 Voicebox 的模型和代码并未公开，网站只提供论文和演示样例，不能直接拿来合成自己的音频。Meta 在伦理声明中解释，是出于防止滥用的考虑才不开放，同时他们训练了一个分类器来区分真实语音和 Voicebox 生成的音频。想实际使用类似能力，需要关注后续是否开放，或转向其他可用的语音合成服务。