MusePose

github.com

腾讯音乐娱乐 Lyra Lab 开源的图像到视频生成框架,输入一张人物参考图和一段姿态序列即可让虚拟人按动作动起来,并开源了姿态对齐算法,适合想自己搭虚拟人视频生成流程的开发者本地配环境跑推理。

打开官网替代品 8 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

4 次可以打开平均 2.9 秒11 月 13 日 起国内不可直接访问

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。

MusePose 是腾讯音乐娱乐 Lyra Lab 开源的一套图像到视频生成框架,专门做虚拟人:给一张人物参考图,再给一段姿态序列,模型就能让人物按这段动作动起来,典型用途是生成舞蹈视频。它基于扩散模型,论文层面参考了 AnimateAnyone,代码则是在 Moore-AnimateAnyone 的基础上优化而来,修掉了若干 bug,也补上了训练代码。

主要能力

仓库里放出了预训练模型和推理脚本,按 README 的说明装好 Python 环境(建议 3.10 以上、CUDA 11.7)和 opencv、diffusers、mmcv 等依赖,就能跑推理。除了生成,它还开源了姿态对齐算法,可以把任意舞蹈视频的动作对齐到任意参考图上,这一步对最终效果影响很大。2024 年 5 月起陆续放出模型、ComfyUI 支持和训练代码,仓库里有 24 次提交、2.7k star。

适合谁

适合想自己搭虚拟人视频生成流程的开发者、研究者,以及玩 ComfyUI 工作流的人。它不是一个打开网页就能用的产品,需要本地配环境、下载权重、跑命令行脚本,对显卡和动手能力都有要求。它是 Muse 开源系列的一环,和 MuseV、MuseTalk 一起指向端到端生成可全身动作、可交互虚拟人的目标。

费用与限制

代码以开源仓库形式发布,使用前需要看仓库里的 LICENSE。README 里 Hugging Face 演示空间和项目主页当时都标注为即将推出,也就是说没有现成的在线试用入口,得自己部署。仓库界面为英文,文档和教程也是英文。

替代品全部 8 个,带对比表 →

替代品 8打开官网