RVC-WebUI：基于检索的语音音色转换（AI 变声器）部署与训练指南
Retrieval-based-Voice-Conversion-WebUI（RVC）是国内最流行的开源语音音色转换框架，基于检索式特征替换杜绝音色泄漏，支持少量数据训练（推荐 10 分钟低噪语音）、实时变声（端到端 170ms，ASIO 设备 90ms）、人声伴奏分离，底模基于 VCTK 50 小时开源数据训练无版权顾虑。当前分支面向 Python 3.12。
一、项目官方信息
| 项目 | 信息 |
|---|---|
| GitHub 仓库 | RVC-Project/Retrieval-based-Voice-Conversion-WebUI |
| 开源协议 | MIT |
| 主要语言 | Python |
| Star 数 | 39k+ |
| 底模数据 | VCTK 50 小时开源数据集 |
| 在线 Demo | ModelScope RVCv2demo |
二、官方图片
RVC-WebUI 仓库社交预览图：
三、环境要求
- Python 3.12 x64；
- Ubuntu 24.04 / Windows；
- NVIDIA GPU（推荐 6GB+ 显存）；CPU/AMD/Intel 走 CPU 方案，Windows 可用 DirectML；
- ffmpeg、libsndfile、portaudio；
- 依赖按硬件选择：cu118（RTX 50 前）/ cu128（RTX 50 系）/ CPU。
四、部署步骤
1. 克隆仓库
git clone https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI.git
cd Retrieval-based-Voice-Conversion-WebUI
2. 系统依赖（Ubuntu 24.04）
sudo apt update
sudo apt install -y python3.12 python3.12-venv python3.12-dev ffmpeg unzip libsndfile1 libportaudio2
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip setuptools wheel
3. 按硬件安装依赖
# NVIDIA RTX 50 系
python -m pip install torch==2.7.1+cu128 torchaudio==2.7.1+cu128 \
--index-url https://download.pytorch.org/whl/cu128 \
--extra-index-url https://pypi.org/simple
python -m pip install -r requirments_cu128_py312.txt
# NVIDIA RTX 50 以前
python -m pip install torch==2.7.1+cu118 torchaudio==2.7.1+cu118 \
--index-url https://download.pytorch.org/whl/cu118 \
--extra-index-url https://pypi.org/simple
python -m pip install -r requirments_cu118_py312.txt
# CPU / AMD / Intel
python -m pip install -r requirments_cpu_py312.txt
4. 验证 Torch
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
5. 下载模型
python -m pip install --upgrade huggingface_hub
# 推理与特征提取必需
hf download lj1995/VoiceConversionWebUI --revision main \
--include "hubert_base/*" --local-dir assets
hf download lj1995/VoiceConversionWebUI rmvpe.pt --revision main \
--local-dir assets/rmvpe
# v1/v2 训练必需
hf download lj1995/VoiceConversionWebUI --revision main \
--include "pretrained/*" "pretrained_v2/*" --local-dir assets
hf download lj1995/VoiceConversionWebUI mute.zip --revision main \
--local-dir .model-downloads
python -m zipfile -e .model-downloads/mute.zip logs
# pymss/MSST 人声分离（可选）
hf download lj1995/VoiceConversionWebUI --revision main \
--include "pymss_weights/*" --local-dir assets
6. 模型目录结构
assets/
├── hubert_base/
│ ├── config.json
│ ├── preprocessor_config.json
│ └── pytorch_model.bin
├── rmvpe/rmvpe.pt
├── pretrained/
├── pretrained_v2/
├── pymss_weights/
├── weights/ # 用户 .pth 模型
└── indices/ # 用户 .index 特征库
logs/
└── mute/ # 训练静音样本
7. 启动 WebUI
python webui.py
# 无桌面服务器
python webui.py --noautoopen
默认监听 7865 端口；Windows 双击 go-webui.bat，实时变声双击 go-realtime_gui.bat。
五、使用方法
训练自己的模型
- 收集 10 分钟以上低底噪目标语音；
- 在 WebUI「训练」页指定数据集路径；
- 训练轮次推荐 10–20 轮；
- 导出
.pth模型与特征检索库.index； .pth放入assets/weights/，.index放入assets/indices/。
推理
- 上传源音频 → 选择目标音色模型 → 变调（男转女 +12，女转男 -12）→ 转换；
- 实时变声：端到端延迟 170ms，ASIO 设备可到 90ms。
特色能力
- RMVPE 音高提取：InterSpeech2023 SOTA，杜绝哑音；
- 人声/伴奏分离：集成 MVSEP/MSST/pymss 模型；
- 模型融合：ckpt-merge 混合多个音色；
- 检索式特征替换：top1 检索杜绝音色泄漏；
- 低配置友好：相对较差的显卡也能快速训练；
- 少量数据训练：10 分钟低噪语音即可出好结果。
国内镜像
三个 requirments_*.txt 顶部已配置北大/南大镜像，需要官方源时替换 --index-url 与 --extra-index-url。
六、常见问题 FAQ
Q1：RVC 是什么？ 开源语音音色转换框架，可训练 AI 歌手、实时变声。
Q2：怎么安装？
Python 3.12 + 按硬件选 cu118/cu128/CPU 依赖，python webui.py 启动。
Q3：需要多少训练数据？ 推荐至少 10 分钟低底噪语音。
Q4：支持实时变声吗？ 支持，端到端 170ms，ASIO 设备 90ms。
Q5：A 卡/I 卡能跑吗？ Windows 用 DirectML，Linux 走 CPU。
Q6：底模版权？ 基于 VCTK 50 小时开源数据训练，无版权顾虑。
Q7：默认端口是多少？ WebUI 默认监听 7865。
七、跳转链接
- GitHub 仓库：RVC-Project/Retrieval-based-Voice-Conversion-WebUI
- 模型权重：Hugging Face lj1995/VoiceConversionWebUI
- 在线 Demo：ModelScope RVCv2demo
- RMVPE：Dream-High/RMVPE