Animate Anyone
阿里巴巴智能计算研究院的角色动画研究项目,用 ReferenceNet 提取参考图细节、Pose Guider 控制动作,让真人、动漫或人形角色按姿态序列动起来并保持外观一致,适合研究图像到视频生成的研究者复现或二次开发。
5 次可以打开平均 2.5 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Animate Anyone 是阿里巴巴集团智能计算研究院(Institute for Intelligent Computing)的一篇论文项目,不是可以直接上手用的产品。它研究的是「角色动画」:给一张人物照片和一段姿态序列,让照片里的人按姿态动起来,生成一段视频。难点在于既要动得自然,又要让角色的脸、衣服、发型在每一帧里保持一致。论文用 ReferenceNet 提取参考图的细节特征,用 Pose Guider 控制动作,再靠时序注意力让帧与帧之间过渡平滑。
能做什么
项目页展示了它在几类角色上的效果:真人、动漫/卡通形象、人形角色都能被驱动。除了通用角色动画,还专门评估了时尚视频合成(把服装照片变成模特走动的视频)和人体舞蹈生成(用 TikTok 数据集做真实舞蹈场景)。页面还提到它可以和 Outfit Anyone 组合,做虚拟试衣;也能接上说话头生成,做「图片到说话视频」。
怎么用
页面上有 Paper、arXiv、Code 几个入口,代码是否已完整公开,材料里没有说明。它没有网页版操作界面,普通用户没法上传图片直接生成视频。想复现效果,需要自己准备环境、跑模型,对显卡和工程能力都有要求。页面还提到阿里云 DeepGPU 对推理做了加速,32 帧 832x640 的视频单步生成在 A10 上从 2.45 秒降到 1.75 秒,但这是给部署方看的,不是给终端用户的功能。
适合谁
适合研究图像到视频生成、角色动画方向的人,或者想基于它的方法做二次开发的团队。如果你只是想把自己的照片变成跳舞视频,这个页面帮不上忙,得去找集成了类似能力的成品工具。
费用与限制
项目页本身免费公开,但材料没有说明代码 license、模型权重是否开放,也没有提到任何付费方案。论文发表于 2023 年,arXiv 编号 2311.17117。页面上的演示视频是精选结果,实际生成质量受输入图片、姿态序列和硬件条件影响。