# Day 2 - MuseTalk 集成与服务器部署

**日期**：2026-01-14  
**开发环境**：Windows 11 (本地) / Ubuntu 24.04 (服务器)  
**目标平台**：Dell R730 (GPU1: RTX 3090 用于 MuseTalk)

---

## 🎯 今日目标

1. 端口配置（解决端口冲突）
2. MuseTalk 服务器部署
3. MuseTalk 完整集成测试

---

## 🔧 端口配置

### 问题描述
服务器上 8000 端口被 `xiaozhi-server` 占用，3000 端口被 `LunaTV` 占用。

### 解决方案
| 服务 | 原端口 | 新端口 |
|------|--------|--------|
| 后端 API | 8000 | **8006** |
| 前端 UI | 3000 | **3002** |

### 修改的文件
- `frontend/src/app/page.tsx` - API_BASE
- `frontend/src/app/publish/page.tsx` - API_BASE
- `frontend/next.config.ts` - rewrite destination
- `README.md` - 访问地址
- `Docs/DEPLOY_MANUAL.md` - 部署命令和验证步骤

**状态**：✅ 已完成

---

## 🔧 MuseTalk 服务器部署

### 环境配置
```bash
# 创建 conda 环境
conda create -n musetalk python=3.10 -y
conda activate musetalk

# 安装 PyTorch (CUDA 12.1)
pip install torch==2.1.0 --index-url https://download.pytorch.org/whl/cu121
pip install torchvision --index-url https://download.pytorch.org/whl/cu121

# 安装 MuseTalk 依赖
pip install -r requirements.txt
pip install openmim
mim install mmengine mmcv mmdet

# mmpose 安装问题 (chumpy 编译失败)
pip install mmpose --no-deps
pip install xtcocotools munkres json_tricks
```

### 模型权重下载
```bash
huggingface-cli download TMElyralab/MuseTalk --local-dir ./models/musetalk
huggingface-cli download stabilityai/sd-vae-ft-mse --local-dir ./models/sd-vae-ft-mse
huggingface-cli download openai/whisper-tiny --local-dir ./models/whisper
```

**状态**：✅ 完成（权重 ~7GB 已下载）

---

## 🔧 前端 API 请求问题

### 问题描述
前端请求 `http://127.0.0.1:8006` 失败，浏览器把 127.0.0.1 解析到本地机器而非服务器。

### 解决方案
改用动态 API 地址：
```typescript
const API_BASE = typeof window !== 'undefined' 
  ? `http://${window.location.hostname}:8006`
  : 'http://localhost:8006';
```

**状态**：✅ 已修复

---

## 🔧 venv/conda 环境隔离

### 问题描述
后端使用 Python venv，MuseTalk 使用 conda 环境，无法直接 import。

### 解决方案
重写 `lipsync_service.py`，通过 subprocess 调用 conda 环境：
```python
self.conda_python = Path.home() / "ProgramFiles" / "miniconda3" / "envs" / "musetalk" / "bin" / "python"

cmd = [str(self.conda_python), "-m", "scripts.inference", ...]
env["CUDA_VISIBLE_DEVICES"] = str(self.gpu_id)  # 使用 GPU1
subprocess.run(cmd, cwd=str(self.musetalk_dir), env=env, ...)
```

**状态**：✅ 代码已完成

---

## 🔧 模型权重路径问题

### 问题描述
健康检查返回 `weights: False`。

### 原因
huggingface-cli 下载后目录结构是嵌套的：
- 期望：`models/musetalkV15/`
- 实际：`models/musetalk/musetalkV15/`

### 修复
```python
# 修复后
required_dirs = [
    self.musetalk_dir / "models" / "musetalk" / "musetalkV15",
    self.musetalk_dir / "models" / "whisper",
]
```

**状态**：✅ 已修复，健康检查返回 `ready: True`

---

## 🚨 遗留问题：MuseTalk 未被调用

### 现象
视频生成成功，但日志显示未调用 MuseTalk 推理。

### 诊断结果

1. **健康检查通过**：
```json
{"conda_env": true, "weights": true, "gpu": true, "gpu_name": "NVIDIA GeForce RTX 3090", "ready": true}
```

2. **代码逻辑问题**（已修复但未验证）：
```python
# 之前 check_health() 返回字典，if 判断永远为 True
if await lipsync.check_health():  # 返回 dict，非 bool

# 修复后
health = await lipsync.check_health()
if health.get("ready", False):  # 正确检查
```

3. **服务器代码同步问题**：
   - 本地代码已修改
   - 服务器可能未完全拉取最新代码

### 待验证
1. 重启后端进程（当前进程可能还在用旧代码）
2. 观察终端日志是否显示 `[LipSync] Starting MuseTalk inference...`
3. 如果日志显示但推理失败，检查 subprocess 调用错误

---

## ✅ 今日完成

1. ✅ 端口配置（8000→8006, 3000→3002）
2. ✅ MuseTalk conda 环境安装
3. ✅ 模型权重下载 (~7GB)
4. ✅ 前端动态 API 地址
5. ✅ lipsync_service.py subprocess 调用方式
6. ✅ 模型权重路径修复
7. ✅ 健康检查功能验证
8. ✅ videos.py check_health() 返回值检查修复
9. ✅ 服务器代码同步验证

---

## ❌ 未完成

1. ❌ MuseTalk 实际推理调用（代码已就绪，需重启后端验证）
2. ❌ 端到端唇形同步测试
3. ❌ 社交媒体发布测试

---

## 📋 明日首要任务

```bash
# 1. 重启后端
cd /home/rongye/ProgramFiles/ViGent/backend
source venv/bin/activate
uvicorn app.main:app --host 0.0.0.0 --port 8006

# 2. 生成视频，观察终端日志
# 应该看到:
# [LipSync] Health check: {'ready': True, ...}
# [LipSync] Starting MuseTalk inference...

# 3. 如果推理失败，检查 subprocess 输出
```