M
MagicAvatar
magic-avatar.github.io又名 MagicAvatar
字节跳动 2023 年公布的多模态虚拟人研究框架,能把文本描述或源视频转成动作信号,再驱动指定形象生成动画,论文与代码公开,适合做动作生成、视频合成的研究者复现或在此基础上改。
工具英文

MagicAvatar 是字节跳动在 2023 年公布的一个研究项目,目标是把文字、视频或音频这类输入转成动作信号,再让一个虚拟人物按这些动作动起来。它更像一套方法框架,而不是装好就能用的软件,页面上展示的是论文、代码和演示视频。
主要功能
文本引导生成是核心玩法:输入一句描述,比如「一个宇航员在火山里踢球」,系统会先生成对应的动作,再输出人物执行该动作的视频。视频引导则是给一段源视频,让虚拟人物模仿其中的动作。多模态动画部分可以指定一个特定形象,再用驱动信号让它动起来,比如让一个女孩跳舞或挥手。音频引导生成标注为即将推出,页面上没有实际演示。
适合谁
做虚拟人、动作生成、视频合成方向的研究者和开发者会关注它,因为论文和代码都公开了,可以复现或在此基础上改。普通用户如果只是想做个会动的头像,它目前没有提供网页版或 App,用起来门槛不低。
费用与限制
项目以论文和代码形式发布,没有看到收费入口,但也没有现成的在线服务。音频驱动功能尚未上线,实际能用的只有文本和视频两条路径。另外,生成效果依赖算力,本地跑需要自己准备环境。
常见问题
MagicAvatar 的替代品有哪些?
本站整理了 5 个替代品,例如 OmniHuman-1、EchoMimic、VASA-1、MuseTalk。
替代品 全部 5 个 →
O
OmniHuman-1
字节跳动智能创作团队公布的人体视频生成研究项目,用单张人像配合音频、视频或两者组合驱动,生成说话、唱歌的动态人像,覆盖卡通形象与复杂姿态,适合数字人方向研究者对照方法、评估效果边界。同为字节开源的人体视频生成研究项目,代码公开可复现,且音频驱动已可用
E
EchoMimic
蚂蚁集团支付宝终端技术部开源的肖像动画生成项目,可用音频、面部关键点或两者结合驱动静态人像生成口型与表情同步的视频,需自行配置环境、下载权重再推理,适合能跑模型的研究者与开发者。替代多模态驱动这一块:开源肖像动画,音频或关键点驱动静态人像,需自配环境
VASA-1
微软研究院的音频驱动人脸视频生成研究项目,输入单张照片和一段语音,实时生成口型与表情同步的说话视频,页面只提供论文与演示,适合做虚拟人、数字主播的研究者了解技术路线。替代研究复现这一块:微软开源音频驱动人脸视频,只覆盖说话场景,无文本动作生成
MuseTalk
腾讯音乐 Lyra Lab 开源的音频驱动唇形同步模型,输入人脸视频和音频即可改嘴型对齐,支持中英日等多语,在 NVIDIA 显卡上可实时推理,适合有深度学习基础的开发者在本地给虚拟人视频配音。替代唇形同步这一块:开源可本地跑,只改嘴型,不涉及动作信号与形象驱动