ESPnet

github.com又名 End-to-End Speech Processing Toolkit

基于 PyTorch 的开源端到端语音处理工具包,把语音识别、合成、翻译、增强等任务收在同一套代码里,配 Kaldi 风格配方和数百个预训练模型,命令行一行即可推理,适合语音方向研究者快速试模型或复现论文实验。

打开官网替代品 4 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

5 次可以打开平均 1.6 秒

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
github.comESPnet 首页截图

github.com 首页 · 本站实拍 · 点开看大图

ESPnet 是一个跑在 PyTorch 上的端到端语音处理工具包。它把语音识别、语音合成、语音翻译、语音增强、说话人分离、口语理解、语种识别、歌声合成、语音语言模型这些任务收在同一套代码里,每个任务都配了 Kaldi 风格的处理流程,从数据准备一路走到评测,中间步骤可以照着配方复现。仓库里还挂着数百个预训练模型,放在 Hugging Face 上。

主要功能

命令行是它最近发力的地方。装好之后一行就能跑推理,比如把一段 wav 直接转成文字;命令行里还有 phonemize 读音素、align 把文本和音频对齐,asr 和 tts 两个子命令改名为 transcribe 和 synthesize,旧名字仍然可用。带麦克风的 --live 模式可以边说边转写。Docker 镜像 inference-cpu-latest 和 inference-gpu-latest 让人不装环境也能跑一个已发布的模型。

训练侧按任务分目录,egs2、egs3 下是各种数据集的配方,espnet2 和 espnet3 是模型与训练代码。新版本把训练依赖拆了出去,核心安装不再带整套训练栈,要训练得额外装 espnet[train]。

适合谁

做语音识别、语音合成、语音翻译的研究人员和工程师是主要用户。想快速试一个预训练模型的人,用命令行或 Docker 镜像就能出结果;要做完整实验、复现论文结果的人,则要熟悉它的配方结构和数据准备流程。仓库用 Apache-2.0 许可,代码可以改、可以商用。

使用前要知道

它是代码库不是成品软件,没有图形界面,装环境、下模型、跑脚本都得自己来。文档、安装说明、配方和模型库都在项目页面上,遇到问题主要靠文档和 Discord 社区。版本按年月发布,更新节奏比较快,接口偶有改名。

常见问题

ESPnet 收费吗?
ESPnet 免费使用。
用 ESPnet 要登录吗?
不用登录就能用。
ESPnet 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 4 个,带对比表 →

替代品 4打开官网