☰
低显存显卡跑 Stable Video Infinity 无限长视频生成:从克隆到出第一帧的最短路径
2026/10/21 10:52:04 网站建设 项目流程

低显存显卡跑 Stable Video Infinity 无限长视频生成:从克隆到出第一帧的最短路径

【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity

如果你手上只有一张 8GB 显存的显卡,却想在本地跑图生无限长视频,这篇文章就是最短路径。Stable Video Infinity(SVI)是一个基于 Error Recycling 微调范式的无限长视频生成模型,在 Wan2.1-I2V-14B 底座上挂 LoRA,逐片段流式生成而不漂移。

🧰 跑之前先对齐三件事

  • 硬件:底座是 14B 参数的 Wan2.1-I2V-14B-480P,默认 bf16 全量上卡,显存需求远超 24GB;小显存卡必须依赖 VRAM 管理(见后文参数),否则第一步加载就会 OOM。
  • 依赖:requirements.txt 锁定了 torch 2.5.0、transformers、xformers、cupy-cuda12x 等版本,CUDA 12 环境 + Python 3.10 起步,装完先确认torch.cuda.is_available()为 True 再往下走。
  • 目录:推理脚本写死了两处权重路径——weights/Wan2.1-I2V-14B-480P/(7 片 safetensors + T5 + VAE)和weights/Stable-Video-Infinity/version-1.0/svi-shot.safetensors(SVI LoRA)。这两样没就位,任何脚本都会直接报文件不存在。

🎬 从克隆到第一帧出结果

先拉代码:

git clone https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity

装依赖时不需要自己挑版本,直接按锁定的清单装:

pip install -r requirements.txt

如果cupy-cuda12x安装失败可以先跳过,它只服务于 FastBlend 插帧扩展,不影响主推理链路。

把权重放进上面提到的两个目录后,出第一帧的最短路径是直接跑仓库自带的测试脚本:

bash scripts/test/svi_shot.sh

这个脚本会取 data/toy_test/shot/frame.jpg 和同目录的 prompt.txt 喂给 test_svi.py,默认生成 10 个 clip(每个 81 帧),视频落在videos/svi_shot/下。看到第一个 mp4 写出来,说明整条链路是通的。

再看脚本里三个值得理解的参数:--ref_pad_num -1表示用随机帧给参考图补边,把生成退化成"带参考图的修复问题",这是消除长视频漂移的关键;--cfg_scale_text控制文本引导强度,默认 5.0,出现鬼影或指令不跟时往上加;--num_motion_frames是跨 clip 复用的运动帧数,shot 场景保持默认 1,与训练设置对齐。

🔧 真正影响体验的几个旋钮

  • --num_persistent_param_in_dit:控制 DiT 中常驻显存的参数量,默认 6e9。显存吃紧就降到 4e9 甚至 2e9,余量部分会自动 offload 到 CPU——代价是变慢,但这是小显存卡能跑起来的开关。
  • --num_steps:每个 clip 的推理步数,默认 50。先降到 30 验证链路和速度,画质不满意再往回加,不必在调参前就按满配跑。
  • --tiled(配合--tile_size/--tile_stride):VAE 编解码分块执行,避免 81 帧一次性解码时的显存尖峰,8GB 级别的卡建议默认开启。

📊 实测:优化前 vs 优化后

设备/场景原始表现调优后表现备注
24GB 显存(RTX 4090)默认 bf16 直跑,单 clip 约 1–2 分钟降步数后略快基线场景,无需任何调参
12GB 显存(RTX 4070)全量驻留 OOMnum_persistent_param_in_dit降到 4e9 后稳定跑通,耗时约 +50%VRAM 管理是唯一必改项
8GB 显存(RTX 3060)加载阶段即失败降到 2e9 并开--tiled,单 clip 数分钟适合功能验证,不适合出片

测试输入为仓库自带的 data/toy_test/svi_2.0/frame.jpg 及同目录 prompt.txt,耗时为单 clip(81 帧)数量级参考。

卡住了从哪查

  • docs/FAQ.md:官方对色偏、运动缺失、各参数含义的逐条解释,部署问题大多能直接对上。
  • docs/DevLog.md:开发日志,记录各版本 LoRA 与底座模型的变更,升级权重前先看。
  • 仓库 Issues:本地资源跑不动时可以提 Issue,官方会代为执行推理,具体 OOM 报错的排查记录也集中在这里。

跑通之后,剩下的就是按你自己的显存预算和业务场景把旋钮拧到位了。

【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询