TokenFlow
diffusion-tokenflow.github.io又名 TokenFlow、TokenFlow: Consistent Diffusion Features for Consistent Vide
魏茨曼科学研究所提出的文本驱动视频编辑方法,先联合编辑关键帧,再按特征最近邻对应把编辑后的 token 传播到其余帧,无需训练即可接在现成图像编辑模型之后,适合视频生成研究者复现论文或在自有视频上试验。
工具英文
TokenFlow 是一项文本驱动的视频编辑方法,出自魏茨曼科学研究所,论文发表于 ICLR 2024。给它一段原始视频和一句目标文字提示,它输出一段贴合新描述、同时保留原视频空间布局与运动节奏的视频。比如把冰雕换成大理石雕塑,或把整段画面改成梵高画风。
主要功能
它的思路是:视频编辑后画面闪烁、物体跳动,根源在于逐帧处理时扩散模型内部特征失去了跨帧一致性。TokenFlow 在去噪过程中先抽取关键帧联合编辑,再借助原视频特征之间的最近邻对应关系,把编辑后的 token 传播到其余帧,从而让每一帧共享同一套编辑结果。整个过程不需要训练或微调,可以接在任意现成的文本到图像编辑方法后面使用。
适合谁
适合做视频生成与编辑研究的人,以及想复现论文结果、在自有视频上试验的开发者。项目页提供了论文、补充材料、代码和演示的入口,并附有与 Text2Video-Zero、Tune-A-Video、Gen-1 等方法的对比。
费用与限制
页面没有说明使用费用、是否需要登录,也没有列出支持的操作系统或界面语言。它是一套研究方法与代码,不是开箱即用的在线剪辑工具,实际运行需要自行准备环境与算力;编辑效果依赖输入视频的质量和所选图像编辑模型。
常见问题
TokenFlow 的替代品有哪些?
本站整理了 4 个替代品,例如 MagicEdit、AnimateDiff、MagicAnimate、ToonCrafter。
替代品 全部 4 个 →
M
MagicEdit
字节跳动的视频编辑研究项目,把外观与运动拆开学以保持时序连贯,支持风格化、局部编辑、概念混合和画面外扩,适合关注视频生成方向的研究者复现或对比方法。同为字节系视频编辑研究项目,同样靠时序一致做文本驱动编辑,可替代论文复现
A
AnimateDiff
由高校研究者开发的开源动画框架,给冻结的 Stable Diffusion 底模外挂通用运动模块,让个性化模型按文字提示出动画,适合已在本地跑 SD、熟悉 LoRA 的玩家自己配环境出片。替代文本驱动视频编辑这一块:开源扩散动画框架,但需训练运动模块,非免训练
MagicAnimate
新加坡国立大学 Show Lab 与字节跳动开源的扩散模型框架,用一张人物图和一段动作视频生成时序一致的人像动画,适合 AI 研究者与开发者配好 CUDA 环境本地跑或调 Replicate API 做动画实验。替代时序一致生成这一块:开源扩散框架,做人物动画而非视频风格编辑
ToonCrafter
腾讯 AI Lab 等开发的生成式卡通插值工具,能在两张关键帧之间补出中间动作,支持稀疏草图引导和参考图配色,适合动画研究者补中间画或跑论文对比实验。替代关键帧插值这一块:腾讯开源卡通插值,做帧间补全而非整段文本编辑