WhisperX

WhisperX 是一个开源的自动语音识别工具，由 m-bain 维护，在 GitHub 上发布。它建立在 OpenAI 的 Whisper 模型之上，解决的是原版 Whisper 的两个短板：时间戳只到句子一级、误差可能有好几秒，以及不支持批处理。WhisperX 用 wav2vec2 做强制对齐，把每个词的时间点标出来，再接入 pyannote-audio 做说话人分离，给不同说话人打上标签。

主要功能

按项目说明，它用 faster-whisper 作为后端，large-v2 模型在 beam_size=5 时显存需求低于 8GB，批处理推理能跑到约 70 倍实时速度。VAD 预处理用来减少模型凭空编造内容，同时不降低识别准确率。2026 年加入的上下文感知批处理，让批处理时也能参考前文，改善标点和专有名词的写法。

• 词级时间戳，靠 wav2vec2 对齐
• 多人对话的说话人分离，输出说话人标签
• VAD 预处理，抑制幻觉
• 批处理推理，速度约 70 倍实时

怎么用

它是命令行工具，通过 pip 安装，也可以用 uvx 直接跑。要用 GPU 加速得先装 CUDA 12.8，只用 CPU 可以跳过这步。项目还提供从 GitHub 源码安装等进阶方式，面向有特殊需求的开发者。它没有图形界面，输入输出都靠命令行参数和文件，不写代码的人上手会比较吃力。

适合谁

适合需要精确字幕时间轴的字幕组和视频创作者，也适合做会议转写、播客整理、语音数据标注的开发者。项目曾获 Ego4d 转写挑战赛第一名，论文被 INTERSPEECH 2023 接收，在学术和工程场景都有使用基础。

费用与限制

项目以 BSD-2-Clause 许可证开源，代码免费使用。仓库页面显示约 25.2k 星标、2.5k 分支。使用门槛主要在环境：GPU 加速依赖 NVIDIA 显卡和 CUDA，说话人分离需要额外的 pyannote 模型，这些都要自己配。界面语言为英文，文档也是英文。