This commit is contained in:
Kevin Wong
2026-02-03 13:46:52 +08:00
parent eb3ed23326
commit cb10da52fc
18 changed files with 1018 additions and 657 deletions

View File

@@ -1,422 +1,91 @@
# ViGent 数字人口播系统 - 开发任务清单
# ViGent2 开发任务清单 (Task Log)
**项目**ViGent2 数字人口播视频生成系统
**服务器**Dell R730 (2× RTX 3090 24GB)
**更新时间**2026-02-02
**整体进度**100%Day 15 手机号登录迁移 + 账户设置功能完成)
## 📖 快速导航
| 章节 | 说明 |
|------|------|
| [已完成任务](#-已完成任务) | Day 1-13 完成的功能 |
| [后续规划](#-后续规划) | 待办项目 |
| [进度统计](#-进度统计) | 各模块完成度 |
| [里程碑](#-里程碑) | 关键节点 |
| [时间线](#-时间线) | 开发历程 |
**相关文档**
- [Day 日志](file:///d:/CodingProjects/Antigravity/ViGent2/Docs/DevLogs/) (Day1-Day15)
- [部署指南](file:///d:/CodingProjects/Antigravity/ViGent2/Docs/DEPLOY_MANUAL.md)
- [Qwen3-TTS 部署](file:///d:/CodingProjects/Antigravity/ViGent2/Docs/QWEN3_TTS_DEPLOY.md)
**项目**: ViGent2 数字人口播视频生成系统
**进度**: 100% (Day 16 - 深度优化完成)
**更新时间**: 2026-02-03
---
## ✅ 已完成任务
## 📅 对话历史与开发日志
### 阶段一:核心功能验证
- [x] EdgeTTS 配音集成
- [x] FFmpeg 视频合成
- [x] MuseTalk 唇形同步 (代码集成)
- [x] 端到端流程验证
> 这里记录了每一天的核心开发内容与 milestone。
### 阶段二:后端 API 开发
- [x] FastAPI 项目搭建
- [x] 视频生成 API
- [x] 素材管理 API
- [x] 文件存储管理
### Day 16: 深度性能优化 (Current) 🚀
- [x] **Qwen-TTS 加速**: 集成 Flash Attention 2模型加载速度提升至 8.9s。
- [x] **服务守护**: 开发 `Watchdog` 看门狗机制,自动监控并重启僵死服务。
- [x] **LatentSync 性能确认**: 验证 DeepCache + 原生 Flash Attn 生效。
- [x] **文档重构**: 全面更新 README、部署手册及后端文档。
### 阶段三:前端 Web UI
- [x] Next.js 项目初始化
- [x] 视频生成页面
- [x] 发布管理页面
- [x] 任务状态展示
### Day 15: 手机号认证迁移
- [x] **认证系统升级**: 从邮箱迁移至 11 位手机号注册/登录。
- [x] **账户管理**: 新增修改密码、有效期显示、安全退出功能。
- [x] **AI 文案助手**: 升级 GLM-4.7-Flash支持 B站/抖音链接提取与洗稿。
### 阶段四:社交媒体发布
- [x] Playwright 自动化框架
- [x] Cookie 管理功能
- [x] 多平台发布 UI
- [x] 定时发布功能 (Day 7)
- [x] QR码自动登录 (Day 7)
### Day 14: AI 增强与体验优化
- [x] **AI 标题/标签**: 集成 GLM-4API 自动生成视频元数据。
- [x] **字幕升级**: Remotion 逐字高亮字幕 (卡拉OK效果) 及动画片头。
- [x] **模型升级**: Qwen3-TTS 升级至 1.7B-Base 版本。
### 阶段五:部署与文档
- [x] 手动部署指南 (DEPLOY_MANUAL.md)
- [x] 一键部署脚本 (deploy.sh)
- [x] 环境配置模板 (.env.example)
- [x] 项目文档 (README.md)
- [x] 端口配置 (8006/3002)
### Day 13: 声音克隆集成
- [x] **声音克隆微服务**: 封装 Qwen3-TTS 为独立 API (8009端口)。
- [x] **参考音频管理**: Supabase 存储桶配置与管理接口。
- [x] **多模态 TTS**: 前端支持 EdgeTTS / Clone Voice 切换。
### 阶段六MuseTalk 服务器部署 (Day 2-3)
- [x] conda 环境配置 (musetalk)
- [x] 模型权重下载 (~7GB)
- [x] subprocess 调用方式实现
- [x] 健康检查功能
- [x] 实际推理调用验证 (Day 3 修复)
### Day 12: 移动端适配
- [x] **iOS 兼容**: 修复 Safari 安全区域、状态栏颜色、Cookie 拦截问题。
- [x] **响应式 UI**: 移动端 Header 与发布页重构。
### 阶段七MuseTalk 完整修复 (Day 4)
- [x] 权重检测路径修复 (软链接)
- [x] 音视频长度不匹配修复 (audio_processor.py)
- [x] 推理脚本错误日志增强 (inference.py)
- [x] 视频合成 MP4 生成验证
- [x] 端到端流程完整测试
### Day 11: 上传架构重构
- [x] **直传优化**: 前端直传 Supabase Storage解决 Nginx 30s 超时问题。
- [x] **数据隔离**: 用户素材/视频按 UserID 物理隔离。
### 阶段八:前端功能增强 (Day 5)
- [x] Web 视频上传功能
- [x] 上传进度显示
- [x] 自动刷新素材列表
### Day 10: HTTPS 与安全
- [x] **HTTPS 部署**: 配置 SSL 证书与 Nginx 反向代理。
- [x] **安全加固**: Supabase Studio 增加 Basic Auth 保护。
### 阶段九:唇形同步模型升级 (Day 6)
- [x] MuseTalk → LatentSync 1.6 迁移
- [x] 后端代码适配 (config.py, lipsync_service.py)
- [x] Conda 环境配置 (latentsync)
- [x] 模型权重部署指南
- [x] 服务器端到端验证
### Day 9: 认证系统与发布闭环
- [x] **用户系统**: 基于 Supabase Auth 实现 JWT 认证。
- [x] **发布闭环**: 验证 B站/抖音/小红书 自动发布流程。
- [x] **服务自愈**: 配置 PM2 进程守护。
### 阶段十:性能优化 (Day 6)
- [x] 视频预压缩优化 (高分辨率自动压缩到720p)
- [x] 进度更新细化 (5% → 10% → 25% → ... → 100%)
- [x] LipSync 服务单例缓存
- [x] 健康检查缓存 (5分钟)
- [x] 异步子进程修复 (subprocess.run → asyncio)
- [x] 预加载模型服务 (常驻 Server + FastAPI)
- [x] 批量队列处理 (GPU 并发控制)
### 阶段十一:社交媒体发布完善 (Day 7)
- [x] QR码自动登录 (Playwright headless)
- [x] 多平台上传器架构 (B站/抖音/小红书)
- [x] B站发布 (biliup官方库)
- [x] 抖音/小红书发布 (Playwright)
- [x] 定时发布功能
- [x] 前端发布UI优化
- [x] Cookie自动管理
- [x] UI一致性修复 (导航栏对齐、滚动条隐藏)
- [x] QR登录超时修复 (Stealth模式、多选择器fallback)
- [x] 文档规则优化 (智能修改标准、工具使用规范)
### 阶段十二:用户体验优化 (Day 8)
- [x] 文件名保留 (时间戳前缀 + 原始名称)
- [x] 视频持久化 (从文件系统读取历史)
- [x] 历史视频列表组件
- [x] 素材/视频删除功能
- [x] 登出功能 (Logout API + 前端按钮)
- [x] 前端 SWR 轮询优化
- [x] QR 登录状态检测修复
### 阶段十三:发布模块优化 (Day 9)
- [x] B站/抖音发布验证通过
- [x] 资源清理保障 (try-finally)
- [x] 超时保护 (消除无限循环)
- [x] 小红书 headless 模式修复
- [x] API 输入验证
- [x] 完整类型提示
- [x] 扫码登录等待界面 (加载动画)
- [x] 抖音/B站登录策略优化 (Text优先)
- [x] 发布成功审核提示
### 阶段十四:用户认证系统 (Day 9)
- [x] Supabase 数据库表设计与部署
- [x] JWT 认证 (HttpOnly Cookie)
- [x] 用户注册/登录/登出 API
- [x] 管理员权限控制 (is_active)
- [x] 单设备登录限制 (Session Token)
- [x] 防止 Supabase 暂停 (GitHub Actions/Crontab)
- [x] 认证部署文档 (AUTH_DEPLOY.md)
### 阶段十五:部署稳定性优化 (Day 9)
- [x] 后端依赖修复 (bcrypt/email-validator)
- [x] 前端生产环境构建修复 (npm run build)
- [x] LatentSync 性能卡顿修复 (OMP_NUM_THREADS限制)
- [x] 部署服务自愈 (PM2 配置优化)
- [x] 部署手册全量更新 (DEPLOY_MANUAL.md)
### 阶段十六HTTPS 部署与细节完善 (Day 10)
- [x] 隧道访问修复 (StaticFiles 挂载 + Rewrite)
- [x] 平台账号列表 500 错误修复 (paths.py)
- [x] Nginx HTTPS 配置 (反向代理 + SSL)
- [x] 浏览器标题修改 (ViGent)
- [x] 代码自适应 HTTPS 验证
- [x] **Supabase 自托管部署** (Docker, 3003/8008端口)
- [x] **安全加固** (Basic Auth 保护后台)
- [x] **端口冲突解决** (迁移 Analytics/Kong)
### 阶段十七:上传架构重构 (Day 11)
- [x] **直传改造** (前端直接上传 Supabase绕过后端代理)
- [x] **后端适配** (Signed URL 签名生成)
- [x] **RLS 策略部署** (SQL 脚本自动化权限配置)
- [x] **超时问题根治** (彻底解决 Nginx/FRP 30s 限制)
- [x] **前端依赖更新** (@supabase/supabase-js 集成)
### 阶段十八:用户隔离与存储优化 (Day 11)
- [x] **用户数据隔离** (素材/视频/Cookie 按用户ID目录隔离)
- [x] **Storage URL 修复** (SUPABASE_PUBLIC_URL 配置,修复 localhost 问题)
- [x] **发布服务优化** (直接读取本地 Supabase Storage 文件,跳过 HTTP 下载)
- [x] **Supabase Studio 配置** (公网访问配置)
### 阶段十九iOS 兼容与移动端 UI 优化 (Day 12)
- [x] **Axios 全局拦截器** (401/403 自动跳转登录,防重复跳转)
- [x] **iOS Safari 安全区域修复** (viewport-fit: cover, themeColor, 渐变背景统一)
- [x] **移动端 Header 优化** (按钮紧凑布局,响应式间距)
- [x] **发布页面 UI 重构** (立即发布/定时发布按钮分离,防误触设计)
- [x] **Qwen3-TTS 1.7B 部署** (声音克隆模型GPU0更高质量)
### 阶段二十:声音克隆功能集成 (Day 13)
- [x] **Qwen3-TTS HTTP 服务** (独立 FastAPI 服务,端口 8009)
- [x] **声音克隆服务** (voice_clone_service.pyHTTP 调用封装)
- [x] **参考音频管理 API** (上传/列表/删除)
- [x] **前端 TTS 模式选择** (EdgeTTS / 声音克隆切换)
- [x] **Supabase ref-audios Bucket** (参考音频存储桶 + RLS 策略)
- [x] **端到端测试验证** (声音克隆完整流程测试通过)
### 阶段二十一:逐字高亮字幕 + 片头标题 (Day 13)
- [x] **faster-whisper 字幕对齐** (字级别时间戳生成)
- [x] **Remotion 视频渲染** (React 视频合成框架)
- [x] **逐字高亮字幕** (卡拉OK效果)
- [x] **片头标题** (淡入淡出动画)
- [x] **前端标题/字幕设置 UI**
- [x] **降级机制** (Remotion 失败时回退 FFmpeg)
### 阶段二十二AI 标题标签 + 前端稳定性修复 (Day 14)
- [x] **Qwen3-TTS 1.7B 模型升级** (0.6B → 1.7B-Base)
- [x] **字幕样式与标题动画优化** (Remotion 视觉增强)
- [x] **AI 标题/标签生成** (GLM-4-Flash API)
- [x] **生成结果同步到发布页** (localStorage 对齐)
- [x] **文案/标题本地保存修复** (刷新后恢复)
- [x] **登录页刷新循环修复** (公开路由跳转豁免)
### 阶段二十三:手机号登录迁移 (Day 15)
- [x] **认证迁移** (邮箱 → 11位手机号)
- [x] **后端 API 适配** (auth.py/admin.py 手机号验证)
- [x] **修改密码功能** (/api/auth/change-password 接口)
- [x] **账户设置菜单** (首页下拉菜单:修改密码 + 有效期显示 + 退出登录)
- [x] **有效期显示** (expires_at 字段显示在账户菜单)
- [x] **点击外部关闭菜单** (useRef + useEffect 监听)
- [x] **前端页面更新** (登录/注册/管理员页面)
- [x] **数据库迁移脚本** (migrate_to_phone.sql)
### Day 1-8: 核心功能构建
- [x] **Day 8**: 历史记录持久化与文件管理。
- [x] **Day 7**: 社交媒体自动登录与多平台发布。
- [x] **Day 6**: **LatentSync 1.6** 升级与服务器部署。
- [x] **Day 5**: 前端视频上传与进度反馈。
- [x] **Day 4**: MuseTalk (旧版) 口型同步修复。
- [x] **Day 3**: 服务器环境配置与模型权重下载。
- [x] **Day 1-2**: 项目基础框架 (FastAPI + Next.js) 搭建。
---
## 🛤️ 后续规划
## 🛤️ 后续规划 (Roadmap)
### 🔴 优先待办
- [ ] 批量视频生成架构设计
### 🟠 功能完善
- [x] Qwen3-TTS 集成到 ViGent2 ✅ Day 13 完成
- [x] 定时发布功能 ✅ Day 7 完成
- [x] 逐字高亮字幕 ✅ Day 13 完成
- [ ] **后端定时发布** - 替代平台端定时,使用 APScheduler 实现任务调度
- [ ] 批量视频生成
- [ ] 字幕样式编辑器
- [ ] **批量生成架构**: 支持 Excel 导入,批量生产视频。
- [ ] **定时任务后台化**: 迁移前端触发的定时发布到后端 APScheduler。
### 🔵 长期探索
- [ ] Docker 容器化
- [ ] Celery 分布式任务队列
- [ ] **容器化交付**: 提供完整的 Docker Compose 一键部署包。
- [ ] **分布式队列**: 引入 Celery + Redis 处理超高并发任务。
---
## 📊 进度统计
### 总体进度
```
████████████████████ 100%
```
### 各模块进度
## 📊 模块完成度
| 模块 | 进度 | 状态 |
|------|------|------|
| 后端 API | 100% | ✅ 完成 |
| 前端 UI | 100% | ✅ 完成 |
| TTS 配音 | 100% | ✅ 完成 |
| 视频合成 | 100% | ✅ 完成 |
| 唇形同步 | 100% | ✅ LatentSync 1.6 升级完成 |
| 社交发布 | 100% | ✅ Day 9 验证通过 |
| 用户认证 | 100% | ✅ Day 9 Supabase+JWT |
| 服务器部署 | 100% | ✅ Day 9 稳定性优化完成 |
| **核心 API** | 100% | ✅ 稳定 |
| **Web UI** | 100% | ✅ 稳定 (移动端适配) |
| **唇形同步** | 100% | ✅ LatentSync 1.6 |
| **TTS 配音** | 100% | ✅ EdgeTTS + Qwen3 |
| **自动发布** | 100% | ✅ B站/抖音/小红书 |
| **用户认证** | 100% | ✅ 手机号 + JWT |
| **部署运维** | 100% | ✅ PM2 + Watchdog |
---
## 🎯 里程碑
### Milestone 1: 项目框架搭建 ✅
**完成时间**: Day 1
**成果**:
- FastAPI 后端 + Next.js 前端
- EdgeTTS + FFmpeg 集成
- 视频生成端到端验证
### Milestone 2: 服务器部署 ✅
**完成时间**: Day 3
**成果**:
- PyTorch 2.0.1 + MMLab 环境修复
- 模型目录重组与权重补全
- MuseTalk 推理成功运行
### Milestone 3: 口型同步完整修复 ✅
**完成时间**: Day 4
**成果**:
- 权重检测路径修复 (软链接)
- 音视频长度不匹配修复
- 视频合成 MP4 验证通过 (28MB → 3.8MB)
### Milestone 4: LatentSync 1.6 升级 ✅
**完成时间**: Day 6
**成果**:
- MuseTalk → LatentSync 1.6 迁移
- 512×512 高分辨率唇形同步
- Latent Diffusion 架构升级
- 性能优化 (视频预压缩、进度更新)
### Milestone 5: 用户认证系统 ✅
**完成时间**: Day 9
**成果**:
- Supabase 云数据库集成
- 安全的 JWT + HttpOnly Cookie 认证
- 管理员后台与用户隔离
- 完善的部署与保活方案
### Milestone 6: 生产环境部署稳定化 ✅
**完成时间**: Day 9
**成果**:
- 修复了后端 (bcrypt) 和前端 (build) 的启动崩溃问题
- 解决了 LatentSync 占用全量 CPU 导致服务器卡顿的严重问题
- 完善了部署手册,记录了关键的 Troubleshooting 步骤
- 实现了服务 Long-term 稳定运行 (Reset PM2 counter)
---
## 📅 时间线
Day 1: 项目初始化 + 核心功能 ✅ 完成
- 后端 API 框架
- 前端 UI
- TTS + 视频合成
- 社交发布框架
- 部署文档
Day 2: 服务器部署 + MuseTalk ✅ 完成
- 端口配置 (8006/3002)
- MuseTalk conda 环境初始化
- subprocess 调用实现
- 健康检查验证
Day 3: 环境修复与验证 ✅ 完成
- PyTorch 降级 (2.5 -> 2.0.1)
- MMLab 依赖全量安装
- 模型权重补全 (dwpose, syncnet)
- 目录结构修复 (symlinks)
- 推理脚本验证 (生成593帧)
Day 4: 口型同步完整修复 ✅ 完成
- 权重检测路径修复 (软链接)
- audio_processor.py 音视频长度修复
- inference.py 错误日志增强
- MP4 视频合成验证通过
Day 5: 前端功能增强 ✅ 完成
- Web 视频上传功能
- 上传进度显示
- 自动刷新素材列表
Day 6: LatentSync 1.6 升级 ✅ 完成
- MuseTalk → LatentSync 迁移
- 后端代码适配
- 模型部署指南
- 服务器部署验证
- 性能优化 (视频预压缩、进度更新)
Day 7: 社交媒体发布完善 ✅ 完成
- QR码自动登录 (B站/抖音验证通过)
- 智能定位策略 (CSS/Text并行)
- 多平台发布 (B站/抖音/小红书)
- UI 一致性优化
- 文档规则体系优化
Day 8: 用户体验优化 ✅ 完成
- 文件名保留 (时间戳前缀)
- 视频持久化 (历史视频API)
- 历史视频列表组件
- 素材/视频删除功能
Day 9: 发布模块优化 ✅ 完成
- B站/抖音登录+发布验证通过
- 资源清理保障 (try-finally)
- 超时保护 (消除无限循环)
- 小红书 headless 模式修复
- 扫码登录等待界面 (加载动画)
- 抖音/B站登录策略优化 (Text优先)
- 发布成功审核提示
- 用户认证系统规划 (FastAPI+Supabase)
- Supabase 表结构设计 (users/sessions)
- 后端 JWT 认证实现 (auth.py/deps.py)
- 数据库配置与 SQL 部署
- 独立认证部署文档 (AUTH_DEPLOY.md)
- 自动保活机制 (Crontab/Actions)
- 部署稳定性优化 (Backend依赖修复)
- 前端生产构建流程修复
- LatentSync 严重卡顿修复 (线程数限制)
- 部署手册全量更新
Day 10: HTTPS 部署与细节完善 ✅ 完成
- 隧道访问视频修正 (挂载 uploads)
- 账号列表 Bug 修复 (paths.py 白名单)
- 阿里云 Nginx HTTPS 部署
- UI 细节优化 (Title 更新)
Day 11: 上传架构重构 ✅ 完成
- **核心修复**: Aliyun Nginx `client_max_body_size 0` 配置
- 500 错误根治 (Direct Upload + Gateway Config)
- Supabase RLS 权限策略部署
- 前端集成 supabase-js
- 彻底解决大文件上传超时 (30s 限制)
- **用户数据隔离** (素材/视频/Cookie 按用户目录存储)
- **Storage URL 修复** (SUPABASE_PUBLIC_URL 公网地址配置)
- **发布服务优化** (本地文件直读,跳过 HTTP 下载)
Day 12: iOS 兼容与移动端优化 ✅ 完成
- Axios 全局拦截器 (401/403 自动跳转登录)
- iOS Safari 安全区域白边修复 (viewport-fit: cover)
- themeColor 配置 (状态栏颜色适配)
- 渐变背景统一 (body 全局渐变,消除分层)
- 移动端 Header 响应式优化 (按钮紧凑布局)
- 发布页面 UI 重构 (立即发布 3/4 + 定时 1/4)
- **Qwen3-TTS 1.7B 部署** (声音克隆模型GPU0)
- **部署文档** (QWEN3_TTS_DEPLOY.md)
Day 13: 声音克隆 + 字幕功能 ✅ 完成
- Qwen3-TTS HTTP 服务 (独立 FastAPI端口 8009)
- 声音克隆服务 (voice_clone_service.py)
- 参考音频管理 API (上传/列表/删除)
- 前端 TTS 模式选择 (EdgeTTS / 声音克隆)
- Supabase ref-audios Bucket 配置
- 端到端测试验证通过
- **faster-whisper 字幕对齐** (字级别时间戳)
- **Remotion 视频渲染** (逐字高亮字幕 + 片头标题)
- **前端标题/字幕设置 UI**
- **部署文档** (SUBTITLE_DEPLOY.md)
Day 14: 模型升级 + AI 标题标签 + 前端修复 ✅ 完成
- Qwen3-TTS 1.7B 模型升级 (0.6B → 1.7B-Base)
- 字幕样式与标题动画优化 (Remotion)
- AI 标题/标签生成接口 + 前端同步
- 文案/标题本地保存修复 (刷新后恢复)
- 登录页刷新循环修复 (公开路由跳转豁免)
Day 15: 手机号登录迁移 + 账户设置 ✅ 完成
- **认证系统迁移** (邮箱 → 11位手机号)
- **账户设置** (修改密码 + 退出登录 + 有效期显示)
- **GLM-4.7 模型升级** (文案洗稿效果提升)
- **文案提取助手** (支持 B站/抖音/URL 提取 + 自动洗稿)
- **视频预览功能** (素材列表预览 + 交互优化)
- **前端交互优化** (滚动条美化、弹窗误触修复)
## 📎 相关文档
- [详细开发日志 (DevLogs)](file:///d:/CodingProjects/Antigravity/ViGent2/Docs/DevLogs/)
- [部署手册 (DEPLOY_MANUAL)](file:///d:/CodingProjects/Antigravity/ViGent2/Docs/DEPLOY_MANUAL.md)