Tune-A-Video
基于预训练图像扩散模型的文本生成视频研究项目,用一段文本-视频对微调即可在保持动作的前提下替换主体、场景与画风,适合想复现论文或在自有素材上做视频风格化实验的研究者与开发者。
5 次可以打开平均 1.4 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Tune-A-Video 是一个文本生成视频(T2V)的研究项目,由 Show Lab、新加坡国立大学、ARC Lab 与腾讯 PCG 的研究者合作完成,论文发表于 ICCV 2023。它要解决的问题是:训练一个文本生成视频模型通常需要大规模视频数据集,算力开销很大。Tune-A-Video 提出「单样本视频微调」的思路,只给一段文本-视频对,就能让预训练的图像扩散模型学会生成连续运动的视频。
主要功能
给定一段输入视频和对应的文字描述,模型会先对视频做微调,再根据编辑后的提示词生成新视频。项目页展示了多种效果:把「一只熊在弹吉他」改成「一个女孩在街上弹吉他」,或者换成乐高风格的土豆先生;把滑雪的人换成蜘蛛侠,并加上「卡通风格」「日落」等修饰;也能在保持动作的前提下替换主体、场景和画风。方法上,它基于 Stable Diffusion 这类预训练图像扩散模型,引入时空注意力机制和高效的微调策略,推理时用 DDIM 反演为采样提供结构引导。
适合谁
它主要面向 AI 视频生成方向的研究者和开发者,适合想复现论文、在自有数据上做视频风格化或主体替换实验的人。普通用户如果只是想生成视频,需要自己跑代码、准备环境和素材,门槛不低。
获取与限制
项目页提供了论文、GitHub 代码、Colab 和 Hugging Face 演示的入口,代码托管在 GitHub 的 showlab/Tune-A-Video 仓库。页面没有说明费用、登录要求或支持平台,这些需要到代码仓库和演示页面确认。作为研究项目,它更接近一套可运行的方法和实验代码,而不是开箱即用的在线服务。