SpeechBrain：PyTorch 对话式 AI 语音处理工具箱｜部署与使用全指南

项目仓库： https://github.com/speechbrain/speechbrain

文档：speechbrain.readthedocs.io · 许可证：Apache 2.0 · 最新版本：1.0 · 形态：Python 库 + 训练 recipe · 预训练模型：100+ 在 Hugging Face

1 项目简介

SpeechBrain 是 PyTorch 生态的对话式 AI 语音处理工具箱：覆盖语音识别、说话人识别、语音增强、语音分离、语言建模、对话等任务。它提供 200+ 训练 recipe、100+ 预训练模型，YAML 配置驱动，三行代码即可推理。

1.1 核心信息一览

1.2 适用场景

• 语音识别（ASR）、说话人识别、语音增强、语音分离。
• 微调 Whisper / Wav2Vec2 / WavLM 等预训练模型。
• 学术研究与教学。

2 功能特性

• 200+ 训练 recipe：40+ 数据集，20 任务。
• 100+ 预训练模型：Hugging Face 一键加载。
• YAML 配置：超参集中管理。
• 支持 Whisper / Wav2Vec2 / WavLM / Llama2：可插拔预训练模型。
• EEG 模态：新增脑电信号处理。

3 官方界面预览

三行代码推理：

from speechbrain.inference import EncoderDecoderASR
asr_model = EncoderDecoderASR.from_hparams(
    source="speechbrain/asr-conformer-transformerlm-librispeech",
    savedir="pretrained_models/asr-transformer-transformerlm-librispeech")
asr_model.transcribe_file("speechbrain/asr-conformer-transformerlm-librispeech/example.wav")

4 官方跳转链接汇总

5 前置要求与服务器配置

5.1 软件前提

• Python 3.8+。
• PyTorch。

6 方式一：pip 安装与推理

pip install speechbrain

from speechbrain.inference import EncoderDecoderASR
asr_model = EncoderDecoderASR.from_hparams(
    source="speechbrain/asr-conformer-transformerlm-librispeech")
print(asr_model.transcribe_file("speechbrain/asr-conformer-transformerlm-librispeech/example.wav"))

7 方式二：训练 recipe

python train.py hparams/train.yaml

8 常见任务

9 常见故障排查

• 模型下载慢：手动从 Hugging Face 下载到 savedir。
• CUDA 版本：按 PyTorch 官方指南安装。

10 风险与合规说明

• Apache 2.0 可商用；各预训练模型有自己许可。
• 输出内容版权由使用者承担。

本文基于官方 README 整理，仅供学习与部署参考；以仓库最新说明为准。