《演员》→ 周若琳音色 | 制作说明
生成时间:2026-10-11 21:26
音源:演员 - 薛之谦.mp3
规格:320 kbps / 44.1 kHz / 立体声 / 04:21.28
一、按你的三条要求执行
① 去掉歌曲原本声音(人声/伴奏分离)
模型:Demucs
htdemucs_ft(fine-tuned,4 个模型集成)命令:
python -m demucs -n htdemucs_ft --two-stems=vocals产出:
vocals.wav(人声干声)+no_vocals.wav(伴奏)质量验证:
vocals + no_vocals重构残差 −31.9 dB,原曲本身 −12.9 dB
→ 残差比原曲低 19 dB,等于 "拆开再拼回去" 几乎无损,没有丢内容。伴奏从此冻结:后续混音中单位增益、无滤波、无变调、无压缩。
② AI 全程唱,只换音色,与原唱 1:1
模型:Seed-VC(零样本歌声转换,44.1 kHz,DiT + Whisper + BigVGAN)
关键参数(这是"1:1 复刻"的核心):
AI 唱满全程:伴奏轨里不含任何原唱残留,人声部分 100% 由转换结果提供。
③ 混音合并
人声电平按原曲实唱段(帧功率 90 分位)对齐,重建原曲的人声/伴奏平衡;
伴奏单位增益、零处理;
峰值保护:只对越限采样(r5 版约 0.79%)做前瞻限幅。
二、参考音频筛选(两版对比)
用留一法(leave-one-out)评估——即不用"拿哪段参考转的就拿哪段打分",避免循环论证。
为什么选 r5:音色相似度更高(+11%),带宽更接近源,且对 4 段参考的相似度更均匀
(0.419 / 0.227 / 0.433 / 0.430)——说明它不是碰巧像某一段,而是稳定地像这个人。
三、情感保真度("带情感"的客观证据)
结论:AI 的渐强渐弱、呼吸起伏、乐句呼吸点都跟着原唱走。
情感不是"叠加"上去的效果,而是原样保留——因为音高轨迹锁定后,颤音、滑音、气声、哭腔
会随基频一起搬过来。混音阶段不加压缩、不做动态处理,就是为了不把表情压平。
注:AI 人声的波峰因数比原唱低约 4.6 dB(峰值 −5.74 vs −1.18 dBFS)。
这来自声码器对瞬态的平滑,是波形层面的差异,不是动态被压缩——
上表的包络相关 0.885 已经证明动态轨迹是跟着原唱走的。
四、文件清单
时长均为 04:21.25,320 kbps / 44.1 kHz / 立体声,削波样本 0。
五、成本
全程 ¥0。分离、转换、混音全部在本机 RTX 3070 上完成,
未调用任何付费云接口(上一句语音走的腾讯云 TRTC TTS 是按字符计费的,本次一句未用)。
六、还可以再进一步
当前是零样本转换(未微调)。若音色相似度仍不满意,可以再走一步:
用周若琳本人的录音微调 Seed-VC(官方支持,门槛极低:每位说话人 ≥1 条语音即可)。
素材已备好:voice-convert/ft_dataset/(13 段 / 106.5 秒)。
需注意:现有素材里 2/3 是"诗词朗诵"录音(带朗读腔),只有约 24 秒是自然说话。
如果能再录 1–2 分钟的自然聊天或跟唱(安静环境、手机贴近嘴),微调效果会明显更好——
跟唱样本尤其有价值,因为那才是"唱歌"的发音方式。
评论