MagicAnimate

MagicAnimate 是一个开源的扩散模型框架，解决的是「让静态人像动起来」这件事：给它一张人物图片和一段动作视频，它把视频里的动作迁移到图片上，生成一段人物跟着动的动画。项目由新加坡国立大学 Show Lab 和字节跳动合作完成，2023 年 12 月放出代码和模型权重。

主要功能

它强调时序一致性，也就是逐帧之间不跳、不闪，官方页面称其在舞蹈视频方案里一致性最高。参考图保留得比较完整，油画、电影角色这类训练数据里没见过的风格也能驱动。它还能接 DALLE3 这类文生图模型，把文字生成的人物图拿来做动画。

怎么用

官方提供 GitHub 仓库，需要自己配环境：Python 3.8 以上、CUDA 11.3 以上、ffmpeg，用 conda 建环境后下载 Stable Diffusion V1.5 和 MSE-finetuned VAE 的预训练模型，再下 MagicAnimate 自己的 checkpoint。不想本地跑的话，Hugging Face、Replicate、Colab 上都有在线 demo，Replicate 还提供 API，按示例传图片、视频和推理步数就能调用。

限制

页面自己列了几条：脸和手会有扭曲，这是这类方案的老问题；默认配置下画风会从动漫偏向写实，尤其人脸明显，可能要换 checkpoint；默认的 DensePose 驱动视频基于真人，套到动漫风格上身体比例会变。另外动作视频需要先转成 OpenPose 格式，官方给了转换模型。