LTX-Video：Lightricks 出品的 DiT 高效视频生成模型｜部署与使用全指南

项目仓库： https://github.com/Lightricks/LTX-Video

论文：arXiv:2501.00103 · 维护方：Lightricks（LTX Studio 出品方） · 语言：Python 3.10 · 框架：PyTorch ≥ 2.1.2 · 形态：命令行 + ComfyUI + Diffusers · 最新版本：v0.9.8（13B/2B，蒸馏版与 FP8 量化）

1 项目简介

LTX-Video 是 Lightricks 开源的DiT 架构视频生成模型：主打"高速、高保真、可商用"，支持文生视频、图生视频、多关键帧、视频前后向扩展、视频到视频转换。最新 v0.9.8 蒸馏版可在 H100 上近实时生成 1216×704@30fps，并提供 FP8 量化版降低显存。官方已发布下一代 LTX-2（音视频同步），但本仓库仍为 LTX 主线开源仓。

1.1 核心信息一览

1.2 模型矩阵（v0.9.8）

1.3 适用场景

• 高速图生视频 / 文生视频，本地或 ComfyUI 工作流。
• 需要可商用许可（OpenRail-M）的视频生成。
• 多关键帧动画、视频扩展。

1.4 能力边界（官方口径）

• 官方推荐用 ComfyUI 工作流获得最佳质量；inference.py 脚本仍在对齐。
• 输入视频段帧数需为 8k+1（9/17/25…），目标帧数为 8 的倍数。

2 功能特性

• 图生视频 / 文生视频：单图或纯文本驱动。
• 多关键帧：支持多图/多视频片段作为条件，指定起始帧。
• 视频扩展：前向/向后续写。
• 蒸馏模型：8 步采样，H100 近实时。
• FP8 量化：Ada 架构及以上 GPU 加速。
• ComfyUI 原生集成：官方 ComfyUI-LTXVideo 插件。
• Diffusers 格式加载：自动转换。
• macOS MPS：PyTorch 2.3/2.6 支持。

3 官方界面预览

在线 Demo：LTX-Studio、Fal.ai、Replicate。

4 官方跳转链接汇总

5 前置要求与服务器配置

5.1 软件前提

• Python 3.10.5（测试版本）。
• CUDA 12.2。
• PyTorch ≥ 2.1.2（macOS MPS 需 PyTorch 2.3/2.6）。

5.2 硬件建议

6 方式一：源码安装与命令行推理

git clone https://github.com/Lightricks/LTX-Video.git
cd LTX-Video

python -m venv env
source env/bin/activate
python -m pip install -e .[inference]

6.1 图生视频

python inference.py \
  --prompt "PROMPT" \
  --conditioning_media_paths IMAGE_PATH \
  --conditioning_start_frames 0 \
  --height 704 --width 1216 --num_frames 161 --seed 42 \
  --pipeline_config configs/ltxv-13b-0.9.8-distilled.yaml

6.2 视频扩展

python inference.py \
  --prompt "PROMPT" \
  --conditioning_media_paths VIDEO_PATH \
  --conditioning_start_frames START_FRAME \
  --height 704 --width 1216 --num_frames 161 --seed 42 \
  --pipeline_config configs/ltxv-13b-0.9.8-distilled.yaml

6.3 多条件视频

python inference.py \
  --prompt "PROMPT" \
  --conditioning_media_paths IMAGE_OR_VIDEO_1 IMAGE_OR_VIDEO_2 \
  --conditioning_start_frames 0 80 \
  --height 704 --width 1216 --num_frames 161 --seed 42 \
  --pipeline_config configs/ltxv-13b-0.9.8-distilled.yaml

7 方式二：ComfyUI 集成（官方推荐）

安装 ComfyUI-LTXVideo 插件，按官方工作流 JSON 加载权重，可视化编排图生视频、多关键帧、FP8 工作流。

8 方式三：Python 库调用

from ltx_video.inference import infer, InferenceConfig

infer(InferenceConfig(
    pipeline_config="configs/ltxv-13b-0.9.8-distilled.yaml",
    prompt=PROMPT,
    # ...
))

9 关键参数

10 常用运维命令

nvidia-smi
ls -lh checkpoints/

11 常见故障排查与风险

• 帧数不对：输入视频段需为 8k+1 帧；目标帧数为 8 的倍数。
• 显存不足：换 distilled / FP8 / 2B 模型。
• macOS MPS：需 PyTorch 2.3 或 ≥2.6。
• 许可证：v0.9.5 起 OpenRail-M 可商用；具体条款以 LICENSE 为准。
• 输出版权：使用者对生成视频负责。

本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。