OpenVoice：多语言即时声音克隆（音色复制）部署与使用指南
OpenVoice 是 MyShell 开源的即时声音克隆系统，可精确克隆参考音频的音色并用多种语言朗读，支持情感、口音、节奏、停顿等风格控制。V1 于 2023 年 12 月发布，V2 于 2024 年 4 月发布，原生支持中英日韩西法六语言，MIT 协议可免费商用。OpenVoice 已为 MyShell 平台的即时声音克隆能力提供后端，全球用户调用数千万次。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | myshell-ai/OpenVoice |
| 项目主页 | research.myshell.ai/open-voice |
| 开源协议 | MIT（V1/V2 均可免费商用） |
| 主要语言 | Python |
| Star 数 | 38k+ |
| 论文 | arXiv:2312.01479 |
| 基础 TTS | MeloTTS |
二、官方图片
OpenVoice 仓库社交预览图：
三、环境要求
- Python 3.9；
- PyTorch 2.0；
- ffmpeg / ffprobe；
- 建议 GPU 推理；
- V2 还需安装 MeloTTS 与 unidic 词典；
- 从 AWS S3 下载 V1/V2 检查点。
四、部署步骤
1. 创建环境
conda create -n openvoice python=3.9
conda activate openvoice
2. 克隆并安装
git clone https://github.com/myshell-ai/OpenVoice.git
cd OpenVoice
pip install -e .
3. 下载检查点
V1：下载 checkpoints_1226.zip，解压到 checkpoints/ 目录。
V2：下载 checkpoints_v2_0417.zip，解压到 checkpoints_v2/ 目录。
4. 安装 V2 依赖（MeloTTS）
pip install git+https://github.com/myshell-ai/MeloTTS.git
python -m unidic download
5. 启动 Gradio 本地演示
python -m openvoice_app --share
6. 代码调用（V2）
from openvoice import se_extractor
from openvoice.api import BaseSpeakerTTS, ToneColorConverter
ckpt_base = 'checkpoints_v2/base_speakers/EN'
ckpt_converter = 'checkpoints_v2/converter'
device = 'cuda:0'
# 提取目标音色
se_extractor = se_extractor.SpeakerEmbeddingExtractor()
target_se, audio_name = se_extractor.extract('speaker.wav', ckpt_converter, device)
# 基础 TTS
base_speaker_tts = BaseSpeakerTTS(f'{ckpt_base}/config.json', device=device)
base_speaker_tts.load_ckpt(f'{ckpt_base}/checkpoint.pth')
# 音色转换
tone_color_converter = ToneColorConverter(f'{ckpt_converter}/config.json', device=device)
tone_color_converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')
source_se = torch.load(f'{ckpt_base}/en_default_se.pth').to(device)
output_path = 'output.wav'
base_speaker_tts.tts('Hello, welcome to OpenVoice.', output_path, speaker='default', speed=1.0)
tone_color_converter.convert(audio_src_path=output_path, src_se=source_se,
tgt_se=target_se, output_path=output_path)
7. Windows / Docker 安装
社区提供非官方安装指南： - Windows：Alienpups/OpenVoice 文档； - Docker：StevenJSCF/OpenVoice 文档。
五、使用方法
核心能力（V1 三大优势）
- 精确音色克隆：克隆参考音频的 tone color，多语言朗读；
- 灵活风格控制：情感、口音、节奏、停顿、语调可调；
- 零样本跨语言：参考音频与生成音频的语言都不必在多说话人训练集里出现。
V2 新增
- 更好音频质量：新训练策略；
- 原生多语言：英、西、法、中、日、韩；
- 免费商用：MIT 协议。
在线试用
不想本地部署可直接用 MyShell 在线服务： - 英式英语、美式英语、中文、日语、韩语、西语、法语。
示例 Notebook
demo_part1.ipynb：灵活风格控制；demo_part2.ipynb：跨语言音色克隆；demo_part3.ipynb：V2 用法。
六、常见问题 FAQ
Q1：OpenVoice 是什么？ 即时声音克隆工具包，能精确克隆参考音色并跨语言朗读。
Q2：商用免费吗？ MIT 协议，V1/V2 均免费商用。
Q3：支持哪些语言？ V2 原生支持中英日韩西法六种。
Q4：怎么安装？
Python 3.9 + PyTorch 2.0，pip install -e .，再下载 V1 或 V2 检查点；V2 还需装 MeloTTS。
Q5：参考音频多长合适？ 几秒到十几秒干净人声即可，越干净克隆效果越好。
Q6：和 GPT-SoVITS 区别？ OpenVoice 偏音色转换+基础 TTS 解耦架构，GPT-SoVITS 偏零样本端到端克隆；OpenVoice 更轻量。
Q7：Windows 能装吗？ 社区有非官方安装指南，或直接用 Docker 镜像。
七、跳转链接
- GitHub 仓库：myshell-ai/OpenVoice
- 项目主页：research.myshell.ai/open-voice
- Hugging Face Demo：myshell-ai/OpenVoice
- MeloTTS：myshell-ai/MeloTTS
- 论文：arXiv:2312.01479