周若琳博客

《演员》→ 周若琳音色 | 制作说明

《演员》→ 周若琳音色 | 制作说明 生成时间:2026-10-11 21:26 音源:

评论
《演员》→ 周若琳音色 | 制作说明

《演员》→ 周若琳音色 | 制作说明

生成时间:2026-10-11 21:26
音源:演员 - 薛之谦.mp3
规格:320 kbps / 44.1 kHz / 立体声 / 04:21.28


一、按你的三条要求执行

① 去掉歌曲原本声音(人声/伴奏分离)

  • 模型:Demucs htdemucs_ft(fine-tuned,4 个模型集成)

  • 命令:python -m demucs -n htdemucs_ft --two-stems=vocals

  • 产出:vocals.wav(人声干声)+ no_vocals.wav(伴奏)

  • 质量验证:vocals + no_vocals 重构残差 −31.9 dB,原曲本身 −12.9 dB
    → 残差比原曲低 19 dB,等于 "拆开再拼回去" 几乎无损,没有丢内容。

  • 伴奏从此冻结:后续混音中单位增益、无滤波、无变调、无压缩。

② AI 全程唱,只换音色,与原唱 1:1

  • 模型:Seed-VC(零样本歌声转换,44.1 kHz,DiT + Whisper + BigVGAN)

  • 关键参数(这是"1:1 复刻"的核心):

    参数

    值

    作用

    --f0-condition

    True

    歌声模式,以源音频的基频轨迹为条件

    --auto-f0-adjust

    False

    关闭自动音高调整(开了会与伴奏调性不一致)

    --semi-tone-shift

    0

    不移调

    --length-adjust

    1.0

    时长不变 → 换气点、断句位置不变

    --diffusion-steps

    80

    高采样步数,减少电音毛刺

    --inference-cfg-rate

    1.0

    更强向目标音色靠拢

  • AI 唱满全程:伴奏轨里不含任何原唱残留,人声部分 100% 由转换结果提供。

③ 混音合并

  • 人声电平按原曲实唱段(帧功率 90 分位)对齐,重建原曲的人声/伴奏平衡;

  • 伴奏单位增益、零处理;

  • 峰值保护:只对越限采样(r5 版约 0.79%)做前瞻限幅。


二、参考音频筛选(两版对比)

用留一法(leave-one-out)评估——即不用"拿哪段参考转的就拿哪段打分",避免循环论证。

指标

r4_25s

r5_mix25s(选用)

参照

音色相似度(留一均值,CAMPPlus 余弦)

0.340

0.377

原唱(薛之谦)仅 0.078

高频能量 >8 kHz

−20.6 dB

−19.7 dB

源人声 −20.8 dB

音高中位偏差

0.19 半音

0.20 半音

≈13 音分,不可闻

音高 90 分位偏差

0.70 半音

0.71 半音

—

音高轨迹相关

0.9937

0.9947

1.0 = 完全一致

颤音比(去 0.5s 慢趋势)

0.996

1.029

1.0 = 完全保留

装饰音轨迹相关

0.9890

0.9511

1.0 = 完全一致

为什么选 r5:音色相似度更高(+11%),带宽更接近源,且对 4 段参考的相似度更均匀
(0.419 / 0.227 / 0.433 / 0.430)——说明它不是碰巧像某一段,而是稳定地像这个人。


三、情感保真度("带情感"的客观证据)

指标

r5

r4

振幅包络与原唱相关

0.885

0.867

去趋势后(细节动态)相关

0.837

0.833

结论:AI 的渐强渐弱、呼吸起伏、乐句呼吸点都跟着原唱走。
情感不是"叠加"上去的效果,而是原样保留——因为音高轨迹锁定后,颤音、滑音、气声、哭腔
会随基频一起搬过来。混音阶段不加压缩、不做动态处理,就是为了不把表情压平。

注:AI 人声的波峰因数比原唱低约 4.6 dB(峰值 −5.74 vs −1.18 dBFS)。
这来自声码器对瞬态的平滑,是波形层面的差异,不是动态被压缩——
上表的包络相关 0.885 已经证明动态轨迹是跟着原唱走的。


四、文件清单

文件

说明

演员-周若琳音色-完整版.mp3

主交付。伴奏单位增益 + 峰值保护限幅,响度接近原曲(RMS −14.3 dB)

演员-周若琳音色-纯净版-伴奏零处理.mp3

伴奏连限幅都不经手,仅整体等比退让 3.3 dB(绝对零处理)

备选-另一参考版.mp3

用 r4 参考转的另一版,供听感对比

试听片段-副歌50秒.mp3

190–240 秒(能量最高的副歌段),便于快速试听

AI人声-无伴奏.mp3

纯 AI 人声,便于单独判断音色

时长均为 04:21.25,320 kbps / 44.1 kHz / 立体声,削波样本 0。


五、成本

全程 ¥0。分离、转换、混音全部在本机 RTX 3070 上完成,
未调用任何付费云接口(上一句语音走的腾讯云 TRTC TTS 是按字符计费的,本次一句未用)。


六、还可以再进一步

当前是零样本转换(未微调)。若音色相似度仍不满意,可以再走一步:

用周若琳本人的录音微调 Seed-VC(官方支持,门槛极低:每位说话人 ≥1 条语音即可)。
素材已备好:voice-convert/ft_dataset/(13 段 / 106.5 秒)。

需注意:现有素材里 2/3 是"诗词朗诵"录音(带朗读腔),只有约 24 秒是自然说话。
如果能再录 1–2 分钟的自然聊天或跟唱(安静环境、手机贴近嘴),微调效果会明显更好——
跟唱样本尤其有价值,因为那才是"唱歌"的发音方式。

评论

推荐阅读

订阅邮件

订阅更新,及时收到最新文章。

作者