VASA-1 的替代品
6 个可以替代 VASA-1 的工具,1 个可完全替代、4 个部分替代,1 个在国内不能直接访问、归在最后。费用、登录、平台与可访问性都是本站实测或从官网核对的。
对比
| 条目 | 费用 | 登录 | 平台 | 国内可直接访问 | 一句 |
|---|---|---|---|---|---|
| OOmniHuman-1 | — | — | 网页 | 待检测 | 同为单图加音频驱动说话人像的研究项目,覆盖唱歌等更多场景,可作技术路线参照 |
| EEchoMimic | — | — | — | 待检测 | 替代音频驱动静态人像这一块:开源可跑,支持关键点驱动,需自备算力 |
| 免费 | 不用登录 | Linux · Windows | 待检测 | 替代唇形同步这一块:开源模型改嘴型,但需已有视频而非单张照片 | |
| MMagicAvatar | — | — | — | 待检测 | 替代研究框架这一块:多模态驱动虚拟人,论文代码公开,但输入不是单张照片加音频 |
| — | 要登录 | 网页 | 待检测 | 替代音频到面部动作这一块:输出 blendshape 供 3D 管线用,不直接出视频 | |
| 免费 | 不用登录 | Linux · Windows | 不可以 | 替代单图加音频生成说话视频这一块:开源可自行部署,但表情与头部动作不如 VASA-1 丰富 |
详细介绍
可完全替代 1
部分替代 4
E
EchoMimic
蚂蚁集团支付宝终端技术部开源的肖像动画生成项目,可用音频、面部关键点或两者结合驱动静态人像生成口型与表情同步的视频,需自行配置环境、下载权重再推理,适合能跑模型的研究者与开发者。替代音频驱动静态人像这一块:开源可跑,支持关键点驱动,需自备算力
MuseTalk
腾讯音乐 Lyra Lab 开源的音频驱动唇形同步模型,输入人脸视频和音频即可改嘴型对齐,支持中英日等多语,在 NVIDIA 显卡上可实时推理,适合有深度学习基础的开发者在本地给虚拟人视频配音。替代唇形同步这一块:开源模型改嘴型,但需已有视频而非单张照片
M
MagicAvatar
字节跳动 2023 年公布的多模态虚拟人研究框架,能把文本描述或源视频转成动作信号,再驱动指定形象生成动画,论文与代码公开,适合做动作生成、视频合成的研究者复现或在此基础上改。替代研究框架这一块:多模态驱动虚拟人,论文代码公开,但输入不是单张照片加音频
Audio2Face-3D
英伟达在 NIM 平台上提供的音频驱动面部动画模型,把流式语音转成面部 blendshape 数据,适合已有 3D 数字人管线、能读英文 API 文档的开发者嵌入使用。替代音频到面部动作这一块:输出 blendshape 供 3D 管线用,不直接出视频
国内不可直接访问 1