Whisper
OpenAI 开源的通用语音识别模型,以 Python 包形式提供,可把录音转成文字、把非英语语音译成英文并识别语种,六种尺寸在速度与准确率间取舍,适合愿意写几行 Python 的开发者批量转写字幕或搭建会议记录工具。
Whisper 是 OpenAI 发布的一个通用语音识别模型,仓库里放着模型代码和权重。它要解决的问题很直接:把一段录音变成文字。除了转写,同一个模型还能做语音翻译(把非英语语音直接译成英文)和语种识别,官方把它称作多任务模型。
它不是一个装好就能点开用的软件,而是一个 Python 包。安装方式是 pip install -U openai-whisper,另外系统里要有 ffmpeg 处理音频,官方训练和测试用的是 Python 3.9.9 与 PyTorch 1.10.1,代码库预期兼容 Python 3.8 到 3.11。装好后在命令行或脚本里指定音频文件即可,仓库还提供了 Colab 示例。
模型与能力
仓库说明有六种模型尺寸,其中四种是仅英语版本,在速度和准确率之间做取舍;不同尺寸对显存的要求和推理速度不同,官方以 A100 上转写英语语音为基准给出了相对速度。模型基于 Transformer 的序列到序列结构,把多语种识别、翻译、语种判断、语音活动检测统一成待预测的 token 序列,用一个模型替掉传统语音流程里的多个环节。
适合谁
适合愿意写几行 Python 的开发者,用来批量转写字幕、做会议记录工具,或者把识别能力嵌进自己的应用。不想碰命令行的人,更适合找基于它封装好的现成转写服务。
费用与限制
仓库采用 MIT 许可证,代码和模型可自由使用,没有付费档位。代价是本地运行要自己准备 Python 环境、ffmpeg 和足够的显存,安装 tiktoken 时某些平台还需要 Rust 工具链。界面和文档都是英文。