Open-Sora：开源社区的 Sora 式视频生成模型｜部署与使用全指南

项目仓库： https://github.com/hpcaitech/Open-Sora

技术报告：Open-Sora 2.0（arXiv:2503.09642） · 维护方：HPC-AI Tech（潞晨科技） · 语言：Python · 框架：PyTorch + ColossalAI · 形态：命令行推理 + 训练脚本 · 最新版本：Open-Sora 2.0（11B）

1 项目简介

Open-Sora 是 HPC-AI Tech（潞晨科技）发起的完全开源视频生成项目：从数据预处理、3D VAE、DiT 架构、训练脚本到推理命令全部公开，目标是让 Sora 一类的文生视频能力对所有人可复现、可二次开发。

项目目前主线版本为 Open-Sora 2.0（11B 参数），支持 256px 与 768px 两种分辨率，同一模型同时支持文生视频（T2V）与图生视频（I2V），并通过 FLUX 文生图模型构建了"文生图再图生视频"的高质量管线。官方在 VBench 上报告与 OpenAI Sora 的差距从 1.2 版的 4.52% 缩小到 0.69%，人类偏好评测与 HunyuanVideo 11B、Step-Video 30B 处于同一水平。

1.1 核心信息一览

1.2 适用场景

• 研究/复现 Sora 类视频生成技术，需要完整训练代码与数据处理管线。
• 在自己的 GPU 集群上跑文生视频 / 图生视频推理。
• 基于 11B 模型做二次微调或训练自己的视频生成模型。

1.3 能力边界（官方口径）

• 官方在 H100/H800 上评测：256×256 单卡约 60 秒、峰值显存 52.5 GB；768×768 单卡约 1656 秒、峰值显存 60.3 GB。普通消费级单卡无法直接跑 11B 模型。
• 支持 --num_frames 必须为 4k+1 且小于 129；宽高比支持 16:9、9:16、1:1、2.39:1。
• 768×768 推理官方建议多卡（8 卡 sequence parallelism）。

2 功能特性

• 文生视频（T2V）：直接文本提示生成；推荐走 FLUX 文生图 + I2V 的高质量管线。
• 图生视频（I2V）：给定参考图与提示词，让图中的主体动起来。
• 运动强度控制：--motion-score 1–7，数值越大运动越剧烈；也支持 dynamic 由 LLM 动态评估。
• 提示词润色：配置 OPENAI_API_KEY 后可用 --refine-prompt True 让 ChatGPT 自动润色。
• 多卡并行：基于 ColossalAI 张量并行 / 序列并行；支持 --offload True 省显存。
• 完整训练管线：数据预处理、VAE 训练、DiT 训练、评测脚本齐全。
• 历史版本分支：v1.0 / v1.1 / v1.2 / v1.3 各自独立分支，便于复现论文结果。

3 官方界面预览

项目是命令行工具，没有独立 Web 界面；官方提供 Hugging Face Space 在线 Demo：huggingface.co/spaces/hpcai-tech/open-sora。示例视频画廊见 hpcaitech.github.io/Open-Sora。

4 官方跳转链接汇总

5 前置要求与服务器配置

5.1 软件前提

• conda（官方示例用 conda 创建 Python 3.10 环境）。
• Python 3.10。
• PyTorch ≥ 2.4.0（CUDA 12.1）。
• xformers 0.0.27.post2、flash-attn。
• ColossalAI（多卡并行）。
• 8 卡 H100/H800 级别 GPU（官方评测配置）；最低可在 1 卡 A100/H100 上跑 256px + offload。

5.2 硬件建议

5.3 端口

无 HTTP 服务端口。

6 方式一：官方命令行安装与推理（推荐）

# 1. 创建 conda 环境
conda create -n opensora python=3.10
conda activate opensora

# 2. 克隆仓库
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

# 3. 安装（确保 torch >= 2.4.0）
pip install -v .
pip install xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121
pip install flash-attn --no-build-isolation

可选安装 FlashAttention 3（Hopper 显卡加速）：

git clone https://github.com/Dao-AILab/flash-attention
cd flash-attention/hopper
python setup.py install

下载模型权重（Hugging Face）：

pip install "huggingface_hub[cli]"
huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts

国内可走 ModelScope：

pip install modelscope
modelscope download hpcai-tech/Open-Sora-v2 --local_dir ./ckpts

7 方式二：在线 Demo 零部署体验

直接访问 Hugging Face Space，输入提示词即可在线生成，无需 GPU。

8 推理命令与关键参数

8.1 文生视频（256px，文生图再图生视频管线）

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_256px.py \
  --save-dir samples --prompt "raining, sea"

# 省显存
torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_256px.py \
  --save-dir samples --prompt "raining, sea" --offload True

8.2 文生视频（768px）

# 单卡
torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_768px.py --save-dir samples --prompt "raining, sea"

# 8 卡
torchrun --nproc_per_node 8 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_768px.py --save-dir samples --prompt "raining, sea"

8.3 图生视频

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/256px.py \
  --cond_type i2v_head \
  --prompt "A plump pig wallows in a muddy pond..." \
  --ref assets/texts/i2v.png

8.4 关键参数

9 常用运维命令

# 查看 GPU 占用
nvidia-smi

# 更新代码
git pull

# 查看已下载权重
ls -lh ckpts/

# 批量跑 CSV 提示词
torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_256px.py \
  --save-dir samples --dataset.data-path assets/texts/example.csv

10 常见故障排查

• flash-attn 编译失败：需正确匹配 CUDA 与 PyTorch 版本；可先跳过 flash-attn 用基础注意力。
• OOM 显存不足：加 --offload True；768px 必须多卡或降低分辨率。
• Hugging Face 下载慢：国内用 ModelScope 镜像，或配置 HF_ENDPOINT。
• torchrun 多卡起不来：确认 --nproc_per_node 与实际 GPU 数一致，且 NCCL 网络连通。
• 视频帧数不对：--num_frames 必须是 4k+1（如 16、32、64、128）。

11 风险与合规说明

• Open-Sora 权重与代码遵循仓库 LICENSE；商业使用前需核对模型许可与训练数据合规性。
• 生成视频的版权与责任由使用者承担；不得用于生成违法、侵权、深度伪造内容。
• 官方商业产品 Video Ocean 与开源仓库是两条线，开源版不提供 SLA。
• 11B 模型训练成本高，普通用户建议先用 1.3（1B）或在线 Demo 体验。

本文基于官方 README 与技术报告整理，仅供学习与部署参考；以仓库最新说明为准。