NVIDIA NeMo Speech：NVIDIA 语音 AI 工具包｜部署与使用全指南
项目仓库： https://github.com/NVIDIA-NeMo/Speech（原 NVIDIA/NeMo）
文档：docs.nvidia.com/nemo/speech · 许可证：Apache 2.0 · 最新版本：3.0.0 · Python 3.12+ · PyTorch 2.7+ · 形态：Python 库 + NGC 容器
1 项目简介
NVIDIA NeMo Speech 是面向 ASR、TTS、语音 LLM 的 PyTorch 工具包：提供预训练模型检查点、训练/微调/推理代码。仓库已拆分，当前专注音频、语音与多模态 LLM；拆分前最终版本为 v2.7.3。代表模型：MagpieTTS、Parakeet、Canary、Nemotron-Speech-Streaming、Nemotron VoiceChat。
1.1 核心信息一览
| 项目项 | 内容 |
|---|---|
| 项目名称 | NVIDIA NeMo Speech |
| 仓库地址 | github.com/NVIDIA-NeMo/Speech |
| 文档 | docs.nvidia.com/nemo/speech |
| 许可证 | Apache 2.0 |
| 最新版本 | 3.0.0 |
| Python | 3.12+ |
| PyTorch | 2.7+ |
| NGC 容器 | nemo-speech |
| Hugging Face | collections/nvidia/nemotron-speech |
1.2 适用场景
- 训练/微调 ASR、TTS 模型。
- 流式语音识别（Parakeet、Nemotron-Speech-Streaming）。
- 多语言 TTS（MagpieTTS，12 语言）。
2 代表模型
| 模型 | 说明 |
|---|---|
| MagpieTTS | 多语言 TTS（12 语言） |
| Parakeet | 离线/流式 ASR |
| Canary | 多语言 ASR/翻译 |
| Nemotron-Speech-Streaming | 流式 ASR，40 语言 |
| Nemotron VoiceChat | 全双工对话 LLM |
3 官方跳转链接汇总
| 类别 | 链接 | 说明 |
|---|---|---|
| 仓库 | github.com/NVIDIA-NeMo/Speech | 源码 |
| 文档 | docs.nvidia.com/nemo/speech | 开发者文档 |
| Hugging Face | collections/nvidia/nemotron-speech | 权重 |
| NGC 容器 | catalog.ngc.nvidia.com | 官方容器 |
4 前置要求
- Python 3.12+。
- PyTorch 2.7+。
- NVIDIA GPU + CUDA（训练必需，推理推荐）。
5 方式一：源码安装（uv 推荐）
# 按 README 用 uv 从源码安装，复现 uv.lock 中的测试栈6 方式二：pip 安装
pip install nemo-toolkit7 方式三：NGC 容器
拉取官方 NGC 容器（Python 3.13 + PyTorch 2.11/2.12）。
8 关键约束
- PyTorch 2.6+
torch.load默认weights_only=True；旧检查点需设TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1（仅可信文件）。
9 常见故障排查
- 旧检查点加载失败：设
TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1。 - 想找拆分前版本：用 v2.7.3。
10 风险与合规说明
- Apache 2.0 可商用；各模型权重许可见 Hugging Face。
- 训练数据与输出版权由使用者承担。
本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。