AudioCraft：Meta 开源的音频/音乐生成研究库｜部署与使用全指南
项目仓库： https://github.com/facebookresearch/audiocraft
代码许可证：MIT · 模型权重：CC-BY-NC 4.0 · Python 3.9 · PyTorch 2.1.0 · 形态：PyTorch 库 + 训练/推理脚本
1 项目简介
AudioCraft 是 Meta（FAIR）开源的音频生成深度学习研究库，包含 AudioGen（文本转音效）、MusicGen（文本转音乐）、EnCodec（神经音频编解码）、MAGNeT（非自回归）、AudioSeal（音频水印）、JASCO（和弦/旋律/鼓条件音乐）等模型的训练与推理代码。
1.1 核心信息一览
| 项目项 | 内容 |
|---|---|
| 项目名称 | AudioCraft |
| 仓库地址 | github.com/facebookresearch/audiocraft |
| 文档 | facebookresearch.github.io/audiocraft |
| 代码许可 | MIT |
| 权重许可 | CC-BY-NC 4.0（非商用） |
| Python | 3.9 |
| PyTorch | 2.1.0 |
1.2 适用场景
- 文本转音乐（MusicGen）。
- 文本转音效（AudioGen）。
- 神经音频编解码（EnCodec）。
- 音频水印（AudioSeal）。
2 内置模型
| 模型 | 说明 |
|---|---|
| MusicGen | 文本转音乐 |
| AudioGen | 文本转音效 |
| EnCodec | 神经音频编解码 |
| Multi Band Diffusion | 扩散解码器 |
| MAGNeT | 非自回归文本转音乐/音效 |
| AudioSeal | 音频水印 |
| MusicGen Style | 文本+风格转音乐 |
| JASCO | 和弦/旋律/鼓条件音乐 |
3 官方跳转链接汇总
| 类别 | 链接 | 说明 |
|---|---|---|
| 仓库 | github.com/facebookresearch/audiocraft | 源码 |
| MusicGen 文档 | docs/MUSICGEN.md | 音乐生成 |
| AudioGen 文档 | docs/AUDIOGEN.md | 音效生成 |
| EnCodec 文档 | docs/ENCODEC.md | 编解码 |
| 训练文档 | docs/TRAINING.md | 训练管线 |
4 前置要求
- Python 3.9。
- PyTorch 2.1.0。
- ffmpeg。
5 方式一：pip 安装
python -m pip install 'torch==2.1.0'
python -m pip install setuptools wheel
python -m pip install -U audiocraft # stable6 方式二：源码安装（训练）
git clone https://github.com/facebookresearch/audiocraft
cd audiocraft
python -m pip install -e . # 推理
python -m pip install -e '.[wm]' # 含水印训练7 缓存位置
- 环境变量
AUDIOCRAFT_CACHE_DIR覆盖 AudioCraft 模型缓存。 - 其他 Hugging Face 模型按 transformers 缓存设置。
8 常见故障排查
- xformers 冲突：先装 torch 再装 xformers。
- 权重缓存：设
AUDIOCRAFT_CACHE_DIR。
9 风险与合规说明
- 代码 MIT，权重 CC-BY-NC 4.0（非商用）。
- 商用需自行联系 Meta。
本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。