Breeze TTS 2：开放权重实时语音合成模型 · 最全部署与使用指南

一句话定位：BreezeBlue 出品的 30 亿参数开放权重 TTS 模型，为实时语音交互而生——支持免参考语音的「声音设计」、参考音频的「声音克隆与声音指导」、自然语言情绪指令、人声事件插入与超低延迟流式输出，中英双语一次搞定。

权重开源日期：2026.08.25（源码同日发布） · 推理代码协议：Apache 2.0 · 模型权重协议：BreezeBlue 研究/非商用许可

榜单成绩：在 Artificial Analysis 的 TTS Elo 榜单中排名 开放权重第 1，同时超过部分头部闭源商业模型。

目录

• 一、官方跳转与下载链接
• 二、模型简介与核心能力
• 三、硬件环境要求
• 四、完整部署步骤
• 五、模型权重获取方式
• 六、使用方法：四种核心玩法
• 七、流式 API 部署与调用
• 八、批量合成 API（Batch）
• 九、Fast 快速推理选项
• 十、Docker 容器化部署
• 十一、常见问题排查
• 十二、许可证与合规说明
• 十三、参考链接汇总

一、官方跳转与下载链接

二、模型简介与核心能力

2.1 这是什么

Breeze TTS 2 是 BreezeBlue 于 2026 年 8 月 25 日 开源的开放权重（Open Weights）文本转语音模型，规模 30 亿参数（3B），单模型同时支持中文和英文自然语音合成。

它的设计目标是实时语音交互：不仅合成质量高，而且响应快（首包音频延迟极低）、表现力强（可以自然描述让 AI "演"出某种声音），还能在文本里直接插入笑声、叹气等人类发声事件。

2.2 四大核心能力

2.3 性能亮点（官方数据）

• 榜单第一：Artificial Analysis TTS Elo 榜开放权重模型第 1 名，并超越部分头部闭源系统；
• 超低延迟：预热 Fast 路径 + NVIDIA H100 上，首音频时间（TTFA）< 40ms；
• 实时流式：实时因子（RTF）达 0.32，即生成速度约为实时速度的 3.1 倍；
• 显存友好：Eager 推理约占用 7.7 GiB 显存，推荐 12GB 显卡起步；Fast 全加速约 14.4 GiB，推荐 24GB 显卡；
• 中英双语：单模型覆盖中英文。

2.4 官方排行榜图

图注：Text-to-speech models ranked by Artificial Analysis Elo score —— Breeze TTS 2 在开放权重模型中位列第一（官方图）。

三、硬件环境要求

3.1 官方要求（必须满足）

3.2 不同场景建议配置

⚠️ 纯 Windows 原生环境跑 CUDA 依赖较容易出问题，官方只保证 Linux；Windows 用户请用 WSL2 + Ubuntu。不支持 Mac / AMD / Intel 显卡的 CUDA 加速。

四、完整部署步骤

4.1 下载推理源码

git clone https://github.com/breezeblue-ai/breeze-tts.git
cd breeze-tts

不想用 git 也可以直接下载 ZIP： https://github.com/breezeblue-ai/breeze-tts/archive/refs/heads/main.zip，解压后 cd breeze-tts-main。

4.2 创建 Python 虚拟环境（推荐）

# 用 conda 创建 Python 3.10 环境（conda 没有则用 python -m venv）
conda create -n breeze python=3.10 -y
conda activate breeze

4.3 安装依赖

python -m pip install -r requirements.txt

依赖清单（官方 requirements.txt，版本已锁定）：

模型全部组件（分词器、骨干、解码器等）都包含在 Breeze TTS 2 权重包内，无需单独下载其他组件。

4.4 下载模型权重

方式 A：HuggingFace 网页下载 打开 https://huggingface.co/BreezeBlue/breeze-tts-2，点 "Files" 标签页，下载全部 safetensors 文件到一个本地目录（例如 ../breeze-tts-2）。

方式 B：命令行下载（推荐，自动进 HF 缓存）

推理命令直接传 HuggingFace 仓库 ID，运行时自动下载到标准缓存目录：

python infer.py BreezeBlue/breeze-tts-2 --text "你好，世界" ...

方式 C：huggingface-cli 下载到本地目录

pip install -U huggingface_hub
huggingface-cli download BreezeBlue/breeze-tts-2 --local-dir ./breeze-tts-2

五、模型权重获取方式（续）

infer.py / API 的 model 参数支持两种写法：

六、使用方法：四种核心玩法

6.1 🎙️ 声音克隆（Voice Clone）

原理：传入参考音频 + 参考音频的准确文字稿，模型提取音色、节奏、情绪与风格，并让目标文本"说出"同一人的声音。

英文示例：

python infer.py ../breeze-tts-2 \
  --ref-audio reference_en.wav \
  --ref-text "This is the exact transcript of the English reference audio." \
  --text "(sigh) It is good to hear your voice again after all this time." \
  --output outputs/voice_clone_en.wav

中文示例：

python infer.py ../breeze-tts-2 \
  --ref-audio reference_zh.wav \
  --ref-text "这是中文参考音频的准确文字稿。" \
  --text "[叹气] 没想到过了这么久，你还记得我的声音。" \
  --output outputs/voice_clone_zh.wav

要点： - 参考音频需干净、非循环、背景噪声尽量少； - --ref-text 必须与参考音频的完整说话内容逐字一致；音频里如果重复说了某句话，文字稿里也要重复； - 纯克隆不传 --instruction；一旦加了 --instruction 就自动变成「声音指导」（见 6.3）。

6.2 🎨 声音设计（Voice Design）

原理：不提供任何参考音频，仅用一段自然语言描述，从零"设计"出一个声音。描述语言建议与目标文本语言一致。可用 --cfg-scale 4 强化指令遵循度。

英文示例：

python infer.py ../breeze-tts-2 \
  --text "(sigh) Welcome aboard. Your journey begins now." \
  --instruction "A warm, thoughtful young woman with a clear voice and a calm, reflective delivery." \
  --cfg-scale 4 \
  --output outputs/voice_design_en.wav

中文示例：

python infer.py ../breeze-tts-2 \
  --text "[笑] 欢迎来到今晚的故事时间，让我们一起开始吧。" \
  --instruction "一位温柔自信的年轻女性，声音清晰，语气亲切，表达轻快而富有感染力。" \
  --cfg-scale 4 \
  --output outputs/voice_design_zh.wav

常用中文声音描述参考：

6.3 🎛️ 声音指导（Voice Direction）

原理：保留参考说话人身份，同时用指令导演其语气、情绪、节奏、表达。--cfg-scale 4 强化指令遵循。

python infer.py ../breeze-tts-2 \
  --ref-audio reference.wav \
  --ref-text "This is the exact transcript of the reference audio." \
  --text "(clears throat) We need to discuss what happened last night." \
  --instruction "Speak slowly with a restrained, serious tone." \
  --cfg-scale 4 \
  --output outputs/voice_direction.wav

声音克隆与声音指导的区别：克隆 = 只复刻参考音色，不加额外指令；指导 = 复刻音色 + 用自然语言指挥它怎么说话。

6.4 🎭 人声事件标记（Vocal Events）

在文本里直接插入事件标签，让合成语音"发出"对应的人声动作：

七、流式 API 部署与调用

7.1 启动流式 API 服务

默认单并发流式 API，走 PyTorch 运行时、Eager 执行：

python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860

使用 HuggingFace 仓库 ID + 固定分支：

python -m breeze_infer.api BreezeBlue/breeze-tts-2 --revision main --host 0.0.0.0 --port 7860

开启 Fast 全加速：

python -m breeze_infer.api ../breeze-tts-2 --host 0.0.0.0 --port 7860 --fast-all

7.2 调用：声音指导 + CFG 4（含参考音频）

curl -X POST http://127.0.0.1:7860/v1/audio/speech \
  -F "cfg_scale=4" \
  -F "ref_audio=@reference.wav" \
  -F "ref_text=This is the exact transcript of the reference audio." \
  -F "text=(clears throat) We need to discuss what happened last night." \
  -F "instruction=Speak slowly with a restrained, serious tone." \
  -F "seed=42" \
  --output voice_direction.pcm

7.3 调用：纯声音设计（无参考音频）

curl -X POST http://127.0.0.1:7860/v1/audio/speech \
  -F "cfg_scale=4" \
  -F "text=[笑] 欢迎来到今晚的故事时间。" \
  -F "instruction=一位温柔自信的年轻女性，声音清晰，语气亲切。" \
  -F "seed=42" \
  --output voice_design.pcm

7.4 响应格式说明

• 响应体为流式输出的单声道 24kHz 16 位有符号小端 PCM（s16le）；
• 后续播放/转码可用 ffmpeg：ffmpeg -f s16le -ar 24000 -ac 1 -i voice_direction.pcm out.wav；
• 服务端同时提供 GET /v1/model 查看加载的模型信息与服务端限制（见 8.3）。

八、批量合成 API（Batch）

8.1 批量请求

一次请求可提交最多 128 条文本，服务端按顺序逐条解码合成。由于解码受显存带宽限制，批量一次合成比逐条请求快得多：

curl -X POST http://127.0.0.1:7860/v1/audio/speech/batch \
  -F 'texts=["The first sentence.", "The second sentence."]' \
  -F "instruction=A calm, clear narrator." \
  -F "cfg_scale=4" \
  -F "seed=42" \
  -F "max_new_tokens=600" \
  --dump-header headers.txt \
  --output batch.pcm

8.2 批量参数说明

• texts：JSON 数组，最多 128 个非空字符串；
• instruction / cfg_scale / ref_audio + ref_text / seed：与单条接口行为一致，作用于每条文本；
• max_new_tokens：服务端上限 1500，超出会被钳制到上限；
• 响应体 = 所有段落按请求顺序拼接的 PCM；响应头 X-Segment-Bytes 以逗号分隔每段的字节数，用于切回独立段落。

8.3 批量注意事项

• 批量显存随批大小和序列长度增长，从最小批开始逐步加大，以适配你的显卡（官方 7.7GiB/12GB 建议针对单请求 Eager，不适用于 128 条批量）；
• 批量支持把备份权重放在 CPU，不影响单请求推理的显存占用；
• CFG（cfg_scale != 1）批量会用 CUDA Graph 加速深度解码；首个同批大小的请求包含一次图捕获开销；纯克隆 cfg_scale=1 不建批图；
• 批量与流式请求共享单个推理槽：有其他请求运行时再发会返回 409；
• GET /v1/model 返回：frame_rate（帧率，用于估 max_new_tokens）、model_digest（权重 SHA-256 校验值）、max_new_tokens、max_batch_texts。

九、Fast 快速推理选项

CLI 与 API 默认都是 Eager 流式，跳过图预热。加 --fast-all 可一次性启用全部加速阶段（代价是启动预热更慢，适合常驻服务）。

各阶段可独立控制：

单个阶段参数主要用于性能分析与调试；日常使用直接 --fast-all。

十、Docker 容器化部署

官方提供了现成 Docker 构建脚本（基于公共 PyTorch 2.9.1 + CUDA 12.8 开发镜像，从源码编译 FlashAttention 2.8.3）。

10.1 构建镜像

cd breeze-tts
bash docker/build.sh

• 默认 FlashAttention 目标为 H100/Hopper（sm90）；
• A100 等 80 架构构建：

FLASH_ATTN_CUDA_ARCHS=80 bash docker/build.sh

10.2 运行容器（本地模型目录 + Fast 模式）

bash docker/run.sh /path/to/breeze-model --fast-all

• 模型目录以只读方式挂载进容器（/models/breeze），不会复制进镜像；
• 容器发布 7860 端口到宿主机；
• 构建过程会跑导入/版本冒烟检查与 CPU 安全单元测试；GPU 图捕获只在显式启用 fast 阶段且有 NVIDIA GPU 时发生。

十一、常见问题排查

十二、许可证与合规说明

1. 推理源代码：Apache License 2.0；
2. 音频分词器：基于阿里 Qwen 团队 Qwen3-TTS，Apache License 2.0；
3. 模型权重 / 检查点 / 适配器 / 衍生模型 / 自托管输出：适用 BreezeBlue 研究与非商业许可证（https://huggingface.co/BreezeBlue/Breeze-TTS-2/blob/main/LICENSE）——仅供研究与个人非商用，Apache 2.0 不授予商业使用权；
4. 商用途径：订阅 BreezeBlue 付费托管平台/API（https://breezeblue.ai/）生成的输出可按其服务条款商用；但付费订阅不授予开放权重模型或自托管输出的商业权利；
5. 责任：禁止未经授权的语音克隆、冒充、欺诈及其他违法或有害用途；你对输入材料、参考音频、语音与输出内容的合规性负责。

十三、参考链接汇总

项目主链

官方文档细分

基准与社区

免责声明：本文所有命令、参数、数据均整理自官方 GitHub 仓库 README、Docker 文档与 BreezeBlue 官方文档，如官方更新请以仓库最新版本为准。模型权重许可为研究/非商用，请务必阅读并遵守上游许可证。