Fish Speech：开源多语言声音克隆与 TTS（S2-Pro / Drama 3）部署指南
Fish Speech 是 Fish Audio 开源的新一代多语言语音合成模型，支持零样本声音克隆、多说话人、自然语言标签控制情感。当前旗舰 Drama 3（35B-A3B MoE，每 token 激活 3B）支持多轮导演式修改、音频局部编辑、场景式多角色配音；上一代 S2-Pro（4B）在 Seed-TTS 评测上中文 WER 0.54%、英文 0.99%，超过闭源系统。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | fishaudio/fish-speech |
| 安装文档 | speech.fish.audio |
| 开源协议 | Fish Audio Community License（S2-Pro 权重另签 Research License） |
| 主要语言 | Python |
| Star 数 | 30k+ |
| 旗舰模型 | Drama 3（35B-A3B MoE）、S2-Pro（4B） |
| 技术报告 | Drama 3 arXiv:2610.18010 |
二、官方图片
Fish Speech 仓库社交预览图：
三、环境要求
- Python 3.10+；
- PyTorch 2.4+；
- NVIDIA GPU（推荐 24GB+ 显存跑 Drama 3；S2-Pro 4B 可用 12GB）；
- 从 Hugging Face 下载权重（Drama 3、S2-Pro）；
- Docker 可选（
fishaudio/fish-speech镜像）。
四、部署步骤
1. 克隆仓库
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
2. 安装依赖
# 推荐用 uv
pip install uv
uv venv
source .venv/bin/activate
uv pip install -e .
3. 下载权重
从 Hugging Face 拉取 S2-Pro 或 Drama 3 权重，放到 checkpoints/ 目录；模型类型由权重的 config.json 自动识别。
4. 命令行推理
python -m tools.api \
--text "你好，欢迎体验 Fish Speech 语音合成。" \
--reference-audio reference.wav \
--reference-text "参考音频对应的文字。" \
--output output.wav
5. 起 API 服务 / WebUI
# OpenAI 兼容 API
python -m tools.api_server --listen 0.0.0.0:8080
# WebUI
python -m tools.webui
6. 高性能推理（生产部署）
仓库推荐用 SGLang-Omni 或 vLLM-Omni 做生产级部署：
- S2-Pro 单 H200 RTF 0.195，首包约 100ms；
- 参考 vLLM-Omni Fish Speech S2 Pro Recipe。
7. 验证
运行命令行推理后生成 output.wav，音色与参考音频一致即成功。
五、使用方法
Drama 3 新能力
- 多轮导演式修改：直接说"再温柔一点、悲伤一点"，模型带上下文重生成；
- 局部编辑/Infilling：像编辑文本一样替换单个词（"Wednesday"→"Thursday"），周围音色保持自然；
- 场景式多角色：从剧本描述直接生成多人对话，长文本流式输出；
- 长对话/长语音：角色与音色在长会话中保持稳定；
- 强情感：笑、哭、耳语、戏剧情感不再被参考音频抹平；
- 多语言克隆：跨语言克隆 CER/WER 达到新 SOTA；
- 自然语言标签：
[whisper]、[angry]、[laughing]内联控制情感与韵律。
S2-Pro 特性
- 内联自然语言指令：
[pause]、[excited]、[whisper]任意位置控制韵律； - 原生多说话人：speaker id 在同一段文本内区分角色，无需逐人生成再拼接；
- 快速克隆：10–30 秒参考音频即可复现音色；
- 单次流式：长音频一次性流式输出。
S2-Pro 评测成绩
| Benchmark | Fish Audio S2 |
|---|---|
| Seed-TTS 中文 WER | 0.54%（最佳） |
| Seed-TTS 英文 WER | 0.99%（最佳） |
| Audio Turing Test | 0.515 后验均值 |
| EmergentTTS-Eval 胜率 | 81.88%（最高） |
| Fish Instruction TAR | 93.3% |
| Fish Instruction Quality | 4.51/5.0 |
六、常见问题 FAQ
Q1：Fish Speech 是什么？ 多语言 TTS + 零样本声音克隆模型，支持情感控制与多角色配音。
Q2：Drama 3 和 S2-Pro 区别？ Drama 3 是新一代旗舰（35B MoE），支持多轮修改、局部编辑、长文本；S2-Pro 是 4B 上一代，推理更快。
Q3：怎么安装？
git clone 后用 uv pip install -e .，再下载权重。
Q4：需要多大显存？ S2-Pro 4B 约 12GB，Drama 3 推荐 24GB+。
Q5：怎么克隆音色？ 提供 10–30 秒参考音频 + 对应文字，模型自动克隆音色。
Q6：商用免费吗？ 代码与权重采用 Fish Audio Community License，S2-Pro 权重另签 Research License，商用前需阅读 LICENSE。
Q7：生产部署用什么？ 推荐 SGLang-Omni 或 vLLM-Omni，单 H200 RTF 0.195。
七、跳转链接
- GitHub 仓库：fishaudio/fish-speech
- 安装文档：speech.fish.audio
- Drama 3 权重：huggingface.co/fishaudio/drama-3
- S2-Pro 权重：huggingface.co/fishaudio/s2-pro
- S2 技术报告：arXiv:2603.08823