AnimateDiff
由高校研究者开发的开源动画框架,给冻结的 Stable Diffusion 底模外挂通用运动模块,让个性化模型按文字提示出动画,适合已在本地跑 SD、熟悉 LoRA 的玩家自己配环境出片。

AnimateDiff 是一套给文生图模型加「动起来」能力的框架,出自香港中文大学、上海 AI 实验室和斯坦福的研究者,论文入选 ICLR'24 spotlight。它要解决的问题很具体:Stable Diffusion 加上 LoRA、DreamBooth 这类个性化手段后,人人都能出好图,但想让这些图动起来,往往得针对每个模型单独调。AnimateDiff 的做法是把一个新建的运动模块挂到冻结的底模上,用视频片段训练出通用的运动先验,之后往任意同底模的个性化版本里注入这个模块,就能按文字提示生成动画。
主要功能
项目页展示了用 ToonYou、Lyriel、majicMIX Realistic、Realistic Vision、RCNZ Cartoon 等 CivitAI 模型生成的动画样片,风格从卡通到写实都有。作者还专门放了同一提示、同一模型下的多组结果,说明加运动模块后原模型的多样性没有被破坏。页面上动画需要点击播放,并附有论文、GitHub 仓库和 BibTeX 引用。
适合谁
适合已经在本地跑 Stable Diffusion、熟悉模型和 LoRA 的玩家,以及想复现论文、在自有底模上做动画实验的研究者。它不是一个打开网页就能用的生成服务,页面本身只是项目介绍和效果展示,实际使用要去 GitHub 取代码、配环境、准备显卡。
费用与限制
项目以开源代码形式发布,页面没有提到任何收费或账号体系。代价是门槛:需要自己搭 Python 环境、下载底模和运动模块,生成速度取决于本地硬件。页面上的样片是作者挑选的最佳效果,实际出片质量会随底模和参数波动。