Whisper

github.com又名 OpenAI Whisper、Whisper(本地部署)

OpenAI 开源的通用语音识别模型,以 Python 包形式提供,可把录音转成文字、把非英语语音译成英文并识别语种,六种尺寸在速度与准确率间取舍,适合愿意写几行 Python 的开发者批量转写字幕或搭建会议记录工具。

工具免费不用登录Windows · macOS · Linux英文开源国内不可直接访问

Whisper 是 OpenAI 发布的一个通用语音识别模型,仓库里放着模型代码和权重。它要解决的问题很直接:把一段录音变成文字。除了转写,同一个模型还能做语音翻译(把非英语语音直接译成英文)和语种识别,官方把它称作多任务模型。

它不是一个装好就能点开用的软件,而是一个 Python 包。安装方式是 pip install -U openai-whisper,另外系统里要有 ffmpeg 处理音频,官方训练和测试用的是 Python 3.9.9 与 PyTorch 1.10.1,代码库预期兼容 Python 3.8 到 3.11。装好后在命令行或脚本里指定音频文件即可,仓库还提供了 Colab 示例。

模型与能力

仓库说明有六种模型尺寸,其中四种是仅英语版本,在速度和准确率之间做取舍;不同尺寸对显存的要求和推理速度不同,官方以 A100 上转写英语语音为基准给出了相对速度。模型基于 Transformer 的序列到序列结构,把多语种识别、翻译、语种判断、语音活动检测统一成待预测的 token 序列,用一个模型替掉传统语音流程里的多个环节。

适合谁

适合愿意写几行 Python 的开发者,用来批量转写字幕、做会议记录工具,或者把识别能力嵌进自己的应用。不想碰命令行的人,更适合找基于它封装好的现成转写服务。

费用与限制

仓库采用 MIT 许可证,代码和模型可自由使用,没有付费档位。代价是本地运行要自己准备 Python 环境、ffmpeg 和足够的显存,安装 tiktoken 时某些平台还需要 Rust 工具链。界面和文档都是英文。

常见问题

Whisper 收费吗?
Whisper 免费使用。MIT 许可证,免费使用。
用 Whisper 要登录吗?
不用登录就能用。
Whisper 国内能访问吗?
本站 11 月 8 日 检测,Whisper 在国内不能直接访问,可以看看国内可直接用的替代品:Yescribe.ai、TransPocket、Memo AI。
Whisper 有哪些平台 / App?
支持 Windows、macOS、Linux。
Whisper 的替代品有哪些?
本站整理了 7 个替代品,例如 Yescribe.ai、TransPocket、Memo AI、LazyTyper。

替代品 全部 7 个 →

收录于 11 月 8 日 · 更新于 11 月 8 日 · 本站 11 月 8 日 检测 · 浏览 0 · 报告问题

替代品 7 个打开官网github.com