LiveTalking：实时交互流式数字人引擎｜部署与使用全指南

LiveTalking —— 实时交互流式数字人引擎，文本/音频驱动数字人实时口型同步并推流输出

适用场景：个人电脑本地部署数字人口播、虚拟主播/直播带货、AI 客服、在线教育分身、大屏讲解、短视频批量出镜。本节命令以官方 README、官方文档站、官方源码（config.py、app.py、docs/api.md）为准；未被官方文档写明的数值会在表格中显式标注"官方未列明 / 待验证"。

项目定位与基本信息

官方图片

下图为官方仓库 README 中使用的官方 logo 与 Web 首页界面截图，均从官方仓库 assets/ 目录原始下载，未做任何二次生成或加工。

图 06-1 LiveTalking 官方 Logo

• 来源 URL：https://raw.githubusercontent.com/lipku/LiveTalking/main/assets/LiveTalking-logo.png（README 顶部 <img src="./assets/LiveTalking-logo.png">）
• 下载方式：curl -L -o 06_livetalking_logo.png "<上述 URL>"；2026-10-25 下载后 file 校验：PNG image data, 800 x 281, 8-bit/color RGBA，大小 182,644 字节（>20KB）。

图 06-2 LiveTalking Web 首页界面（官方 README "2.4 Web 页面" 引用图）

• 来源 URL：https://raw.githubusercontent.com/lipku/LiveTalking/main/assets/index.jpg（README 中 <img src="./assets/index.jpg">）
• 下载方式：curl -L -o 06_livetalking_webui.jpg "<上述 URL>"；2026-10-25 下载后 file 校验：JPEG image data, JFIF standard 1.01, 2642x1356, baseline，大小 279,848 字节（>20KB）。

备用官方架构图（已下载备查，本节未在正文引用）：数据流图 https://raw.githubusercontent.com/lipku/LiveTalking/main/assets/dataflow.png，本地保存为 https://zhouruolin.cn/upload/06_livetalking_dataflow.png，file 校验为 PNG image data, 2476 x 262，84,053 字节。

环境要求

下表"官方依据"列标注信息是否直接来自官方 README / 文档 / 源码；官方未给出的数值不做推算填充。

最详细部署步骤（WSL2 Ubuntu 24.04 / Windows 双视角）

视角 A：WSL2 内 Ubuntu 24.04（与官方测试环境 Ubuntu 22.04 同系，源码部署主路径）。视角 B：Windows 10/11 原生，优先使用官方整合包；源码级调试建议回到 WSL2。

安装基础依赖

视角 A：WSL2 Ubuntu 24.04（官方 README 命令）

# 0. 确认已安装 NVIDIA 驱动（Windows 侧）并在 WSL2 中可看到显卡
nvidia-smi

# 1. 安装 miniconda 后创建官方指定环境（README 原文命令）
conda create -n livetalking python=3.12
conda activate livetalking

# 2. 安装 PyTorch：README 测试组合 CUDA 12.8
#    若 nvidia-smi 显示的 CUDA 版本不同，请按 https://pytorch.org/get-started/previous-versions 选择对应 cu 版本
pip install torch==2.9.1 torchvision==0.24.1 torchaudio==2.9.1 --index-url https://download.pytorch.org/whl/cu128

# 3. 拉取源码（国内可改用 Gitee / GitCode 镜像，见 06.4.2"国内加速方案"）
git clone https://github.com/lipku/LiveTalking.git
cd LiveTalking

# 4. 安装 Python 依赖（README 原文命令）
pip install -r requirements.txt

# 5. ffmpeg（FAQ 官方方式：conda 安装；需保证编译选项含 libx264）
conda install -c conda-forge ffmpeg
ffmpeg -version    # 输出信息中应能看到 --enable-libx264 相关支持

视角 B：Windows 10/11 原生

• 官方 README 2.5 节提供 Windows 整合包：https://pan.quark.cn/s/a040bf5cb065（curl 200 核验，2026-10-25），按包内说明启动即可，无需手动装 PyTorch。
• 官方 README 2.3 节另提供 Windows 桌面客户端：https://pan.quark.cn/s/d7192d8ac19b（curl 200 核验）。
• README 未提供 Windows 原生逐条源码安装命令；若需源码部署，在 WSL2 Ubuntu 中执行视角 A 的步骤。

下载模型 / 权重

wav2lip 后端（README 2.1 节 + 官方文档 3.1.1 节，两个官方网盘二选一）

下载后按官方文档 3.1.1 节放置文件：

musetalk 后端（官方文档 3.1.2 节）

• 官方迅雷网盘地址：https://pan.xunlei.com/s/VOW3nYho64jeCxT2sxrjcE7fA1?pwd=evnw（curl 200，2026-10-25 核验；提取码 evnw 来自链接本身）
• 将压缩包内 models/ 下文件拷贝到项目 models/ 目录；解压 musetalk_avatar1.tar.gz 后将整个文件夹拷贝到 data/avatars/ 目录下。
• 官方文档 3.1.2 节注明：以下库只在生成 avatar 时需要，推理不需要：

conda install ffmpeg
sudo apt install build-essential cmake
pip install "setuptools<81"
pip install face_recognition

国内加速方案（README 原文给出）

• 源码国内镜像：Gitee https://gitee.com/lipku/LiveTalking、GitCode https://gitcode.com/lipku/LiveTalking（README 首页"国内镜像"章节；两站 curl 均 200）。
• 模型本身官方即托管于国内网盘（夸克 / 迅雷），无需 HF 镜像；Google Drive 为 README 备选下载渠道。

关键配置（命令行参数，来源：官方 config.py 源码 parse_args()）

环境变量（来源：官方 .env.example）：.env.example 提供 TENCENT_APPID / TENCENT_SECRET_KEY / TENCENT_SECRET_ID / DASHSCOPE_API_KEY / DOUBAO_API_KEY / AZURE_SPEECH_KEY / AZURE_TTS_ENDPOINT，按所选 TTS / LLM 服务填写；不使用对应服务可留空。

启动服务（官方 README 2.2 节命令）

conda activate livetalking
cd LiveTalking

# wav2lip 后端（默认）
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

# musetalk 后端示例（需先按 06.4.2 下载对应模型与 avatar）
python app.py --transport webrtc --model musetalk --avatar_id musetalk_avatar1

README 原文注意事项：服务端需开放端口 TCP:8010，UDP:1-65536（WebRTC 媒体通道）。本机 http://127.0.0.1:8010 无需额外放行；云服务器部署需在安全组放行。

使用方法

启动方式与入口页面（README 2.3 / 2.4 节 + docs/api.md）

WebUI 操作流程（README 2.3 节 + 官方文档 3.1 节）

1. 启动服务后浏览器访问 http://127.0.0.1:8010/index.html。
2. 点击"开始连接"建立 WebRTC 通道，页面出现数字人待机画面。
3. 在文本框输入要播报的文字，提交后由默认 TTS（edgetts）合成语音并驱动口型；切换到对话模式会先经 LLM 生成回复再播报。
4. 需要自定义形象时进入 /avatar.html 上传闭嘴不说话的视频生成 avatar（官方文档 3.1.1 / 3.1.2 节给出的命令行等价方式见 06.5.4）。
5. 录制：首页提供录制控制按钮；对应后端 API 为 /record 与 /record/{sessionid}。

HTTP API 参数说明（来源：官方 docs/api.md，web_fetch 全文核验）

常用命令行补充（官方文档 3.1 节）

# wav2lip 后端：用自己的视频生成 avatar（输入视频需闭嘴不说话；img_size 固定 256）
python -m avatars.wav2lip.genavatar --video_path xxx.mp4 --img_size 256 --avatar_id wav2lip256_avatar1
# 若一直卡住不动，可将 --face_det_batch_size 改小（文档 3.1.1 节备注）

# musetalk 后端：用视频或图片生成 avatar
python -m avatars.musetalk.genavatar --avatar_id musetalk_avatar1 --file ~/sun.mp4

# 多并发会话（文档 3.6 节）
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1 --max_session 3

# 虚拟摄像头输出（文档 3.8 节：先安装 pyvirtualcam 驱动与 Python 包、pyaudio）
pip install pyvirtualcam
pip install pyaudio
python app.py --transport virtualcam --model wav2lip --avatar_id wav2lip256_avatar1
# 浏览器另开 http://<serverip>:8010/virtualcam.html；OBS 等直播软件选择虚拟摄像头即可

端到端示例（输入 → 命令 → 输出）

场景：本机 WSL2 内用默认 wav2lip 数字人播报一句开场词，并录制为 MP4。

1. 输入素材：无需额外图片/视频素材，使用官方示例 avatar wav2lip256_avatar1；播报文本：大家好，欢迎来到我的频道。
2. 启动服务：

conda activate livetalking
cd LiveTalking
python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

3. 浏览器打开 http://127.0.0.1:8010/index.html → 点击"开始连接"；在文本框输入 大家好，欢迎来到我的频道。 提交（type=echo 复读模式，不依赖 LLM Key）。
4. 录制（docs/api.md）：先 POST /record，body {"sessionid": "<连接后获得的 sessionid>", "type": "start_record"}；播报结束后 type 改为 end_record；最后 GET http://127.0.0.1:8010/record/<sessionid>.mp4 下载成片。
5. 输出：浏览器端实时看到口型同步的数字人画面；服务端 data/record/<sessionid>.mp4 为录制视频。
6. 实时性自检（README"6. 性能指标"）：后端日志 inferfps = GPU 推理帧率，finalfps = 最终推流帧率，两者均需 ≥25 才算实时。

常见坑（现象 + 原因 + 解决，均来自官方 README / FAQ / 文档）

本节来源清单