Stable Video Diffusion
Stability AI 开源的视频生成模型,可从单张图片生成短视频,代码与权重开放,供研究者和开发者本地部署。
4 次可以打开平均 3.3 秒11 月 22 日 起国内不可直接访问
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Stable Video Diffusion(SVD)是 Stability AI 发布的图生视频扩散模型,代码放在 generative-models 仓库里。它解决的问题很直接:给一张静态图片,让模型生成一段有运动的短视频。仓库同时收录了图像生成、视频生成和 4D 生成等多套模型,SVD 是其中面向视频的那一部分。
主要能力
仓库里的视频相关模型以图片为输入,输出若干帧的短视频。较新的 SV4D 2.0 走得更远:输入一段 12 帧、576x576 的视频,生成 48 帧(12 帧 × 4 个视角)的新视角视频,用于 4D 资产生成;对更长的视频,它每次自回归生成 12 帧,把上一段结果当作后续帧的条件。官方说明这是面向研究用途的模型。
怎么用
这不是网页上点一下就出片的产品,要在本地跑。流程大致是:从 HuggingFace 下载模型权重放进 checkpoints 目录,再用仓库里的采样脚本推理,例如 python scripts/sampling/simple_video_sample_4d2.py --input_path <path/to/video>。输入可以是 gif、mp4 文件,也可以是一组 jpg/png 帧图片或文件名模式。采样步数默认 50,可以调低来缩短时间;显存不够时可以设 --encoding_t=1、--decoding_t=1 或降低分辨率。背景杂乱的实拍视频,官方建议先用 Clipdrop 或 SAM2 把前景抠出来。
适合谁
适合有 GPU 环境、愿意折腾 Python 环境的研究者和开发者,用来做图生视频、新视角合成这类实验。普通用户想直接生成视频,这个仓库帮不上忙,它没有现成的图形界面。