从环境搭建到长视频生成:ComfyUI-LTXVideo 插件实战指南
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
ComfyUI-LTXVideo 是 Lightricks 为 LTX-2 视频生成模型打造的 ComfyUI 自定义节点集合:LTX-2 本体已内置在 ComfyUI 核心中,而这个插件补上了从低显存加载、长视频分块采样、IC-LoRA 控制到 HDR 后处理的全套工程化能力。本文按"装环境 → 看懂采样架构 → 掌握控制手段 → 攻坚性能瓶颈 → 场景实战"的路径,带你把这套工具真正用起来。
一、三步完成环境部署:依赖安装与模型落位
1. 硬件与前置条件
ⓘ系统要求:官方推荐的最低配置是 ComfyUI 本体 + CUDA 兼容 GPU(32GB 以上显存)+ 100GB 以上空闲磁盘。显存紧张时不必放弃,第四节会给出低显存方案的节点支持。
2. 安装插件
方式一,通过 ComfyUI Manager:打开 ComfyUI,按Ctrl+M呼出 Manager,选择Install Custom Nodes,搜索LTXVideo安装后重启,节点会出现在节点菜单的Lightricks分类下。
方式二,手动克隆到自定义节点目录:
git clone https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo.git custom_nodes/ComfyUI-LTXVideo3. 安装 Python 依赖
cd custom_nodes/ComfyUI-LTXVideo pip install -r requirements.txt依赖清单见 requirements.txt,其中colour-science是 HDR 色彩主通道所必需(无回退方案),openimageio用于 EXR 序列读写,缺少它们相关 HDR 节点会直接报错而非降级。
4. 模型文件落位表
| 模型 | 文件名 | 放置目录 | 作用 |
|---|---|---|---|
| 22B 完整模型 | ltx-2.3-22b-dev.safetensors | models/checkpoints/ | 最高质量,采样步数多 |
| 22B 蒸馏模型 | ltx-2.3-22b-distilled-1.1.safetensors | models/checkpoints/ | 少步数快出图,日常首选 |
| 空间上采样器 | ltx-2.3-spatial-upscaler-x2-1.1.safetensors | models/latent_upscale_models/ | 两阶段管线的分辨率放大 |
| 时间上采样器 | ltx-2.3-temporal-upscaler-x2-1.0.safetensors | models/latent_upscale_models/ | 两阶段管线的帧数放大 |
| 蒸馏 LoRA | ltx-2.3-22b-distilled-lora-384-1.1.safetensors | models/loras/ | 让完整模型走蒸馏推理 |
| Gemma 3 文本编码器 | gemma-3-12b-it-q4_0 全量文件 | models/text_encoders/gemma-3-12b-it-qat-q4_0-unquantized/ | 提示词编码与增强 |
| IC-LoRA 系列 | union-control / motion-track / hdr / dubit 等 | models/loras/ | 各类控制与特效能力 |
💡专家提示:新手建议先只装蒸馏模型 + 蒸馏 LoRA + Gemma 编码器,这是速度和质量平衡最好的组合;example_workflows/2.3/下的LTX-2.3_T2V_I2V_Single_Stage_Distilled_Full.json是验证环境是否跑通的最佳起点。
二、看懂采样器体系:从 BaseSampler 到 LoopingSampler
插件的采样能力不是一堆零散节点,而是一条清晰的"阶梯"。理解这条阶梯,你就理解了整个插件的设计语言。
1. 四级基础采样器
核心实现在 easy_samplers.py:
LTXVBaseSampler:最基础的去噪采样,支持 I2V 条件图、自定义width/height/num_frames(宽高步进 32,帧数步进 8)LTXVInContextSampler:在基础上去噪时把引导 latent(guiding latents)拼进上下文做注意力引导LTXVExtendSampler:以上一段生成结果的尾帧为条件,向时间轴后方"续写"LTXVNormalizingSampler:在续写前做 latent 归一化,抑制长视频常见的过饱和漂移
2. 统一入口:LTXVLoopingSampler
上面的节点被LTXVLoopingSampler封装成一个总控节点,它同时处理两个维度:
- 时间分块:
temporal_tile_size控制每块帧数,temporal_overlap控制相邻块重叠帧数。原理上,每块生成时会用LTXVExtendSampler以上一块的尾部帧为条件,实现无缝衔接 - 空间分块:
horizontal_tiles/vertical_tiles把高分辨率画面切成重叠区域,逐块处理后线性加权混合,峰值显存只与单块大小相关
关键参数速查(完整参数表见 looping_sampler.md):
| 参数 | 建议值 | 说明 |
|---|---|---|
temporal_tile_size | 80 | 每块像素帧数,短片 40-80,长片 120-200 |
temporal_overlap | 24 | 经验法则取块长的 25-30% |
temporal_overlap_cond_strength | 0.5 | 上一块对下一块的影响强度,越高时序一致性越强 |
adain_factor | 0.1-0.3 | 长序列防过饱和,用首块统计量做 AdaIn 归一化 |
💡专家提示:长视频漂移(画面逐渐变糊、颜色跑偏)时,优先加adain_factor而不是加引导强度;需要长程一致性时,还可以把参考图 latent 接进optional_negative_index_latents,让每个时间块都能"回望"全局锚点。
三、三种控制手段:IC-LoRA 引导、STG 与提示词增强
生成"像样"靠采样器,生成"可控"靠控制节点。插件提供了三类互补的控制路径。
1. IC-LoRA 视频引导:最核心的控制方式
ⓘ技术原理:IC-LoRA(In-Context LoRA)把参考视频/图像的 latent 以"上下文"形式追加到生成 latent 之后,模型在注意力中同时看到"参考内容"和"待生成内容"。核心节点LTXAddVideoICLoRAGuide的frame_idx参数决定参考的位置:0与生成片段对齐(视频参考),-1放在生成范围之外(单图参考)。
使用要点:
- 先用
LTXICLoRALoaderModelOnly把控制 LoRA 挂到模型上(只改模型,不重建 checkpoint) LTXAddVideoICLoRAGuide负责把引导帧附加到条件中,latent_downscale_factor可把参考降到 1/2、1/3 尺寸,省显存还提速——Union Control LoRA 就是按降采样 latent 训练的LTXVSetAudioRefTokens用于 Dub-It 场景,注入说话人参考音频 token 保持音色一致
插件随附的 Union IC-LoRA 把深度、Canny 边缘、姿态三种控制条件合并进一个 LoRA,一张参考图即可三条件共用,工作流见 example_workflows/2.3/LTX-2.3_ICLoRA_Union_Control_Distilled.json。
2. STG:空间引导微调
stg.py 实现了 STG(Spatio-Temporal Guidance):在每一步去噪时额外做一次注意力扰动,用正预测 - 扰动预测的差值来抑制伪影、锐化细节。STGGuiderAdvanced节点配合预设库(presets/stg_advanced_presets.json)可以一键套用官方调好的强度曲线,再经LTXVApplySTG注入采样。适合"画面整体对但细节发虚"的场景,代价是多一次前向开销。
3. 提示词侧:Gemma 编码器与提示词增强
LTX-2 用 Gemma 3 做文本编码。LTXVGemmaEnhancePrompt节点会调用本地 Gemma,把你的一两句口语化描述扩写成结构化的视频提示词,系统提示词模板见 system_prompts/(T2V 与 I2V 各一套)。没有本地显存跑 Gemma 时,GemmaAPITextEncode可以走远端 API。
💡专家提示:控制路径的优先级建议是:构图/内容用 IC-LoRA 引导,细节质量用 STG,提示词只负责风格与光影描述。三件事分开做,比把全部意图塞进 prompt 稳定得多。
四、显存不足与分辨率上限怎么破
这是实战中最常撞墙的两处,插件恰好各有一套成熟方案。
1. 显存不足:低显存加载器 + 启动参数
问题:32GB 以下显存加载 22B 模型直接 OOM。
方案:
- 使用 low_vram_loaders.py 中的
LowVRAMCheckpointLoader/LowVRAMAudioVAELoader/LowVRAMLatentUpscaleModelLoader。它们的dependencies输入是一个任意类型的"执行顺序锁":把后一个加载器的依赖接到前一个的输出上,强制模型串行加载,避免多个模型同时驻留显存 - 启动 ComfyUI 时加保留参数:
python main.py --reserve-vram 5原理:OOM 的峰值往往不是单个模型太大,而是多个模型加载器并行执行导致叠加占用;串行化后峰值显存降到"最大单模型 + 工作区"。官方说明该组合可在 32GB 显存内完成生成。
2. 高分辨率:三种瓦片策略选型
| 方案 | 优势 | 适用场景 | 注意事项 |
|---|---|---|---|
LTXVTiledSampler | 实现简单,独立采样各瓦片 | 快速验证 | 瓦片间独立去噪,可能出现接缝 |
LTXVTiledFusionSampler | 单张 latent 画布 + 单噪声场,每个去噪步在重叠瓦片上运行并高斯混合,无接缝 | IC-LoRA V2V 精修,FullHD/4K/8K | 只能配离散步采样器(euler/heun/dpm_2),overlap_frac不低于 0.5,否则结构化内容上会出现周期性网格 |
LTXVLoopingSampler空间分块 | 与时间分块复用同一节点,显存最省 | 超长 + 超高分辨率组合 | 空间重叠最小 1 个 latent 像素,越大混合越顺滑 |
Tiled Fusion 的完整约束(包括为什么 guide 的use_tiled_encode必须为 false、tile_frames为何要与 guide 一致)写在 tiled_fusion_sampler.md,配套LTXVGetTilingSizes节点可以直接算出合法的画布/瓦片/tile_frames组合,不用手推。
ⓘ技术原理:Tiled Fusion 与普通瓦片采样的本质区别在于"轨迹共享"——所有瓦片在同一条噪声调度轨迹上被同一噪声场驱动,混合只是空间加权;而独立采样是各瓦片各走各的轨迹,接缝自然产生。
💡专家提示:跑 Tiled Fusion 工作流时,提示词只描述风格(光照、色调、锐度),不要点具体物体名。README 特别警告:上采样后 prompt 里点名的细节会在每个空间瓦片里"复制粘贴"式地出现。
五、场景实战:HDR、配音重做与纯音频生成
1. SDR 视频升级 HDR
HDR IC-LoRA 能把普通 SDR 视频转换成 ACEScct 工作空间的 HDR 内容。LoRA 输出的是 LogC3 压缩空间帧,LTXVHDRDecodePostprocess节点负责解码回线性 HDR,同时给出 Reinhard 色调映射的 SDR 预览和原始线性张量,并可经 OpenImageIO 导出 16/32 位 EXR 序列(用 DJV 查看)。
- 两阶段分块版:LTX-2.5_V2V_TiledFusion_SDR_to_HDR.json
- 单阶段版:LTX-2.3_ICLoRA_HDR_Distilled.json
2. Dub-It:换台词不换脸
给定源视频和目标对白文本,Dub-It IC-LoRA 重新生成口型与语音,同时用参考音频 token 保持说话人身份。它天然是两阶段管线:第一阶段在基础分辨率生成音画,第二阶段上采样并冻结音频。工作流:LTX-2.3_ICLoRA_DubIt_Two_Stage_Distilled.json。
3. 生成不带画面的纯音频
LTX-2 是音画联合 transformer,LTXVAudioOnlyModel节点会关掉run_vx和双向 cross-attn 开关,让音频独立去噪。由于模型输入按位置切分为[video, audio],仍需用一个 64x64 单帧占位 latent(LTXVAudioOnlyEmptyVideoLatent)经LTXVConcatAVLatent拼接,开销可忽略。解码用LTXVAudioVAEDecode取出音频,再接内置的Save Audio (FLAC)。示例:LTX-2.3_T2A_Single_Stage_Distilled.json。
4. 生成式上采样:先草稿后精修
Pixel Spatial Upscaler IC-LoRA(2×/4×)不是插值锐化,而是从低分辨率参考重新"渲染"出高频细节。推荐的作业方式是官方明确写的draft-then-upscale:先在约 280p 的低分辨率锁定构图与运动,确认满意后再跑上采样出终稿——LoRA 强度、guidance 与步数越低越贴参考,越高越"创意"。工作流:LTX-2.3_ICLoRA_Pixel_Spatial_Upscaler_Distilled.json。
六、收尾:把你的产出流水线搭起来
回到开头的路径:环境装好后,用蒸馏单阶段工作流验证跑通;日常创作以LTXVLoopingSampler为主控采样节点,用 IC-LoRA 管内容、STG 管细节;撞上显存和分辨率墙时,分别用低显存加载器和 Tiled Fusion 拆解问题。
ⓘ技术原理:整个插件的节点都在init.py 中统一注册,所有LTXV前缀节点都能在节点菜单的Lightricks分类下找到;example_workflows/ 目录按 2.0 / 2.3 / 2.5 三个模型版本组织了全部官方工作流,是排查"这个功能怎么接线的"最快的地方。
工具只是手段,你要的是可交付的视频产出。建议按项目节奏固定自己的参数基线:先用低分辨率 + 蒸馏模型跑通构图,锁定后上采样出终稿,再按需叠 STG 与 HDR 后处理。把这套"先草稿、后精修、分块攻坚"的节奏跑顺,ComfyUI-LTXVideo 提供的每一项能力都会落到你的成片里。
【免费下载链接】ComfyUI-LTXVideoLTX-Video Support for ComfyUI项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-LTXVideo
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考