MMAudio

MMAudio 是一个研究项目开源的音频生成模型，论文入选 CVPR 2025，作者来自伊利诺伊大学厄巴纳-香槟分校与索尼 AI 等机构。它要解决的问题是：给一段无声视频，自动配上与画面动作对得上的声音；或者只给一句文字描述，直接生成音效。官方演示里用它给 Sora、Veo 2 等模型生成的视频配音。

主要能力

核心做法是多模态联合训练，把音频-视觉和音频-文本两类数据放在一起学，再用一个同步模块让生成的音频与视频帧对齐。仓库提供命令行脚本和 Gradio 界面，两种入口都支持视频转音频和文本转音频；界面上还有一个实验性的图片转音频，做法是把单张图复制成视频再处理，作者说明这不是模型训练过的任务，效果只作参考。

怎么用

它不是装好就能点开的网页服务，需要自己搭环境：官方只在 Ubuntu 上测试过，要求 Python 3.9 以上、PyTorch 2.5.1 以上，克隆仓库后 pip 安装，预训练模型在运行演示脚本时自动下载，也可以从 Hugging Face 手动取。命令行跑 demo.py，指定时长、视频路径和提示词，输出 .flac 音频和 .mp4 视频到 output 目录；不传视频参数就变成文本转音频。16 位模式下推理大约占 6GB 显存。

限制

默认输出时长 8 秒，偏离训练时长太多质量会下降。仓库以 MIT 协议开源，代码可自由使用，但要有能跑 PyTorch 的显卡和一点命令行经验，普通用户更适合去用作者挂出的在线演示。