Open-Sora-Plan：北大-兔展开源复现 Sora 的视频生成项目｜部署与使用全指南

项目仓库： https://github.com/PKU-YuanGroup/Open-Sora-Plan

论文：arXiv:2412.00131（v1.3） · 维护方：北大-兔展 AIGC 联合实验室 · 许可证：Apache 2.0 · 最新版本：v1.5.0（昇腾 NPU 训练版） · 在线 Demo：Modelers 模型体

1 项目简介

Open-Sora-Plan 是北大-兔展 AIGC 联合实验室发起的开源复现 Sora项目，由兔展、华为、鹏城实验室和开源社区共同贡献。项目从 v1.0 到 v1.5 持续迭代，公开了完整的视频生成训练/推理管线，包括 CausalVideoVAE、WFVAE、稀疏 3D DiT（Skiparse / SUV）、Prompt Refiner、数据过滤与 Bucket 训练策略。

1.1 核心信息一览

1.2 版本演进

1.3 适用场景

• 复现/研究 Sora 类视频生成的完整训练管线。
• 在 GPU 上跑 v1.3 的 93×480p 文生视频 / I2V。
• 在昇腾 NPU 上跑 v1.5。

1.4 能力边界（官方口径）

• v1.5 权重当前仅兼容 NPU + MindSpeed-MM 框架；GPU 版官方说"coming soon"。
• 推理分辨率需为 32 的倍数；帧数需为 4n+1（93、77、61、45、29、1）。
• v1.2 部分权重未经高质量数据微调，可能出现水印。

2 功能特性

• WFVAE：8×8×8 下采样，PSNR 优于 Wan2.1 用的 VAE。
• 稀疏 DiT：SUV 稀疏注意力，比 dense 快 35% 以上。
• Prompt Refiner：自动润色提示词。
• I2V 与首尾帧过渡：v1.2 起支持图生视频。
• 数据过滤策略：自动过滤低质视频。
• Bucket 训练：多分辨率混合训练。

3 官方界面预览

在线 Demo：Modelers 模型体。

4 官方跳转链接汇总

5 前置要求与服务器配置

5.1 GPU 版（v1.3）

• PyTorch、CUDA。
• 24 GB 显存可跑 93×480p。
• 克隆仓库后按 v1.3 报告安装依赖。

5.2 NPU 版（v1.5）

• 昇腾 910 系列 NPU。
• MindSpeed-MM 框架。
• 代码在 mindspeed_mmdit 分支。

6 方式一：v1.3 GPU 推理

git clone https://github.com/PKU-YuanGroup/Open-Sora-Plan
cd Open-Sora-Plan

# 按 docs/Report-v1.3.0.md 安装依赖
# 从 Hugging Face 下载 any93x640x640 权重与 VAE 到本地

推理脚本见仓库 scripts/ 目录，参考 v1.3 报告。

7 方式二：v1.5 NPU 推理

git clone -b mindspeed_mmdit https://github.com/PKU-YuanGroup/Open-Sora-Plan
cd Open-Sora-Plan
# 按 docs/Report-v1.5.0.md 在昇腾环境配置 MindSpeed-MM

8 关键约束

9 常用运维命令

nvidia-smi
ls -lh results/

10 常见故障排查

• v1.5 在 GPU 上跑不起来：当前权重仅 NPU+MindSpeed-MM，等 GPU 版发布或回退 v1.3。
• 分辨率/帧数不对：严格按 32 倍数、4n+1 帧设置。
• 出现水印：v1.2 部分权重未高质量微调，换 v1.3 权重。

11 风险与合规说明

• Apache 2.0 许可，商用友好；但训练数据合规需自行核对。
• 输出视频版权由使用者承担。
• 华为/鹏城实验室/兔展参与项目，非官方 OpenAI 产品。

本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。