Stability AI Generative Models：SDXL / SVD / SV3D / SV4D 官方代码仓｜部署与使用全指南
项目仓库： https://github.com/Stability-AI/generative-models
维护方：Stability AI · 语言：Python · 框架：PyTorch · 形态：命令行 + Streamlit/Gradio · 许可证：CreativeML Open RAIL++-M（SDXL） · 覆盖模型：SDXL 1.0、SVD、SV3D、SV4D 2.0、SDXL-Turbo
1 项目简介
generative-models 是 Stability AI
官方的生成模型代码仓，集中托管了 SDXL 1.0、Stable Video
Diffusion（SVD/SVD-XT）、Stable Video 3D（SV3D）、Stable Video 4D（SV4D
/ SV4D 2.0）、SDXL-Turbo 等模型的推理与演示代码。
仓库代号虽常被社区称为"SD3"相关仓，但实际主线维护的是 SDXL 与视频系列模型；Stable Diffusion 3 系列模型权重在 Hugging Face 上独立发布。
1.1 核心信息一览
| 项目项 | 内容 |
|---|---|
| 项目名称 | Stability AI Generative Models |
| 仓库地址 | github.com/Stability-AI/generative-models |
| 覆盖模型 | SDXL 1.0、SDXL-Turbo、SVD、SVD-XT、SV3D_u/p、SV4D、SV4D 2.0 |
| 模型权重 | Hugging Face stabilityai |
| 许可证 | CreativeML Open RAIL++-M（SDXL 系列） |
| 形态 | Python 脚本 + Streamlit/Gradio |
1.2 适用场景
- 跑 Stability 官方视频生成模型（SVD/SV3D/SV4D）。
- 研究 SDXL 底座的推理与扩展。
- 做新视角合成（novel-view synthesis）与 4D 内容生成研究。
1.3 能力边界（官方口径）
- 视频模型（SV3D/SV4D）输入建议是白底单物体图；真实场景需先抠图或用 SAM2 分割前景。
- 低显存环境需调
--encoding_t=1 --decoding_t=1或降分辨率。
2 功能特性
- SDXL 1.0 / SDXL-Turbo：1024² 文生图；Turbo 版蒸馏快速采样。
- SVD / SVD-XT：图生视频，14 帧 / 25 帧。
- SV3D_u / SV3D_p：单图生成环绕视频（多视角）。
- SV4D / SV4D 2.0：视频到 4D 新视角合成，48 帧 576×576。
- Streamlit / Gradio Demo：可视化交互。
3 官方界面预览
Streamlit Demo：
streamlit run scripts/demo/video_sampling.py4 官方跳转链接汇总
| 类别 | 链接 | 说明 |
|---|---|---|
| 仓库 | github.com/Stability-AI/generative-models | 源码 |
| 模型 Hub | huggingface.co/stabilityai | 全部权重 |
| SV4D 2.0 项目页 | sv4d20.github.io | 最新视频模型 |
5 前置要求与服务器配置
5.1 软件前提
- Python 3.10。
- PyTorch（CUDA 11.8 示例）。
- 依赖：
requirements/pt2.txt、sdata。
5.2 硬件建议
视频模型需 24 GB 显存以上；低显存用
--encoding_t=1 --decoding_t=1。
6 方式一：安装与 SV4D 2.0 推理
python3.10 -m venv .generativemodels
source .generativemodels/bin/activate
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install -r requirements/pt2.txt
pip3 install .
pip3 install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata下载权重：
huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints推理：
python scripts/sampling/simple_video_sample_4d2.py \
--input_path assets/sv4d_videos/camel.gif \
--output_folder outputs7 方式二：SV3D 单图环绕视频
# 下载权重
huggingface-cli download stabilityai/sv3d sv3d_u.safetensors --local-dir checkpoints
# 推理
python scripts/sampling/simple_video_sample.py \
--input_path path/to/image.png --version sv3d_u8 关键参数
| 参数 | 说明 |
|---|---|
--input_path |
输入图/视频/帧目录 |
--output_folder |
输出目录 |
--num_steps |
采样步数（默认 20/50） |
--elevations_deg |
相机俯仰角 |
--remove_bg |
用 rembg 自动去背景 |
--encoding_t / --decoding_t |
低显存时设为 1 |
9 常用运维命令
nvidia-smi
ls -lh outputs/10 常见故障排查
- 显存不足：
--encoding_t=1 --decoding_t=1或--img_size=512。 - 真实背景效果差：先用 rembg / SAM2 分割前景。
- SD3 模型在哪：Stable Diffusion 3 权重在 Hugging
Face 独立仓（如
stabilityai/stable-diffusion-3-medium），不在本仓库。
11 风险与合规说明
- SDXL 系列采用 CreativeML Open RAIL++-M，商用需遵守使用条款。
- 视频模型输出版权由使用者承担；4D/新视角内容可能涉及被摄物权利。
- 研究用途优先；商业产品请走 Stability AI 官方授权。
本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。