MuseTalk

MuseTalk 是腾讯音乐娱乐（TME）旗下 Lyra Lab 开源的音频驱动唇形同步模型。给它一段人脸视频和一段音频，它会把视频里人物的嘴型改成跟音频对得上，脸的其他部分尽量保持原样。常见用法是给虚拟人视频配音、做多语言版本的口播，或者配合 MuseV 这类视频生成模型拼出完整的数字人流程。

主要能力

模型在 ft-mse-vae 的潜空间里训练，只处理 256×256 的人脸区域，音频用 whisper-tiny 编码后通过 cross-attention 融进 UNet。官方说明支持中文、英文、日文等多种语言的音频，在 NVIDIA Tesla V100 上能跑到 30fps 以上的实时推理。人脸区域的中心点可以手动调整，这个参数对最终效果影响明显。仓库里同时放了推理代码、训练代码和模型权重，1.5 版加入了感知损失、GAN 损失和同步损失，并采用两阶段训练和时空采样。

怎么用

这是给开发者用的仓库，不是点开就能用的网页工具。需要自己配环境、装依赖、下载权重（仓库里有 download_weights 脚本），再跑推理脚本或 app.py。仓库还提供 HuggingFace Space 上的 Gradio 演示，想先看效果可以从那里试。训练代码在 2025 年 4 月开源，有数据的话可以自己微调。

限制

实时推理依赖 NVIDIA 显卡，没有 GPU 基本跑不动。它只改嘴部区域，头部姿态、表情、光照都不会跟着音频变，输入视频质量差时效果会打折。仓库是英文 README，界面语言为英文，使用门槛偏向有深度学习基础的人。