F5-TTS

github.com又名 F5-TTS

SWivid 开发的开源文本转语音项目,基于流匹配与扩散变换器,提供 pip 包、Docker 镜像与网页界面,适合想自己换数据集微调模型的语音合成研究者。

工具免费Linux · macOS · Windows英文开源

F5-TTS 首页截图

F5-TTS 是一个开源的文本转语音(TTS)项目,官方代码放在 GitHub 上。它要解决的问题是让机器合成的语音听起来更自然、更贴近真人,同时提供一套可以自己训练和推理的代码。项目基于流匹配(Flow Matching)和扩散变换器(Diffusion Transformer),并带有 ConvNeXt V2 结构,论文标题里自称「用流匹配伪造流利忠实语音的童话家」。

主要功能

仓库里包含 F5-TTS 和 E2 TTS 两个模型。F5-TTS 用扩散变换器加 ConvNeXt V2,训练和推理速度更快;E2 TTS 是 Flat-UNet Transformer,尽量复现原论文。另外还有一个叫 Sway Sampling 的推理时采样策略,用来提升生成效果。项目提供 pip 包和 Docker 镜像,可以跑命令行,也能启动一个网页界面。

适合谁

适合做语音合成研究或开发的程序员,尤其是想自己微调模型、换数据集训练的人。普通用户如果只想把文字转成语音,用现成的在线工具会更省事,因为这个项目需要配环境、装 PyTorch,还得有合适的显卡。

费用与限制

代码以 MIT 许可证开源,可以免费使用和修改。安装需要 Python 3.10 以上,按显卡类型装对应的 PyTorch:NVIDIA、AMD、Intel 和 Apple Silicon 都有说明,AMD 的 ROCm 只支持 Linux。模型权重放在 Hugging Face、ModelScope 和 Wisemodel 上。仓库界面是英文,文档也以英文为主。

常见问题

F5-TTS 收费吗?
F5-TTS 免费使用。MIT 许可证,免费开源。
F5-TTS 有哪些平台 / App?
支持 Linux、macOS、Windows。
F5-TTS 的替代品有哪些?
本站整理了 6 个替代品,例如 ChatTTS、IndexTTS、FireRedTTS、OpenVoice。

替代品 全部 6 个 →

收录于 2024 年 5 月 · 更新于 11 月 8 日 · 浏览 224 · 报告问题

替代品 6 个打开官网github.com