# Day 19 - 通信传输优化

**日期**: 2025-12-23  
**主题**: 服务器端数据处理逻辑优化，解决传输拥堵问题

---

## 问题分析

用户反馈室外测试时传输拥堵，经分析确认：
- 2.4GHz 热点带宽不是瓶颈（需求 ~1.6 Mbps，实测 5-10 Mbps）
- 服务器配置强劲（双 E5-2680 v4 + 双 RTX 3090）
- **真正问题**：服务器端每帧都执行无意义的解码-编码循环

---

## 瓶颈识别

### 之前的代码逻辑
```python
# 每帧都解码，无论是否需要处理
arr = np.frombuffer(data, dtype=np.uint8)
bgr = cv2.imdecode(arr, cv2.IMREAD_COLOR)  # CPU 密集！

# 即使不需要处理，也重新编码再发送
ok, enc = cv2.imencode(".jpg", bgr, ...)  # 又是 CPU 密集！
await _broadcast_to_viewers(enc.tobytes())
```

**问题**：客户端发送的 `data` 本身就是 JPEG，完全不需要解码再编码！

---

## 优化方案

### 1. 零拷贝直传
对于不需要处理的模式（CHAT/IDLE/ITEM_SEARCH），直接转发原始 JPEG：

```diff
- if bgr is not None:
-     ok, enc = cv2.imencode(".jpg", bgr, ...)
-     await _broadcast_to_viewers(enc.tobytes())
+ await _broadcast_to_viewers(data)  # 直接转发原始 JPEG
```

### 2. 延迟解码
只在真正需要导航处理时才执行 `cv2.imdecode`：

```diff
+ needs_processing = (orchestrator and not yolomedia_running)
+ bgr = None  # 延迟初始化

+ if needs_processing:
+     current_state = orchestrator.get_state()
+     if current_state in ("ITEM_SEARCH", "CHAT", "IDLE"):
+         await _broadcast_to_viewers(data)  # 零拷贝
+         continue
+     # 只有导航模式才解码
+     bgr = turbo_decode(data)
```

### 3. TurboJPEG 加速编解码

使用 **TurboJPEG**（基于 libjpeg-turbo 的 SIMD 优化库）替换 `cv2.imencode`/`cv2.imdecode`：

```python
# 安装
pip install PyTurboJPEG

# 使用（带回退逻辑）
from turbojpeg import TurboJPEG
_turbo_jpeg = TurboJPEG()

def turbo_decode(jpeg_bytes):
    return _turbo_jpeg.decode(jpeg_bytes)  # 2-3x faster

def turbo_encode(bgr_image, quality=80):
    return _turbo_jpeg.encode(bgr_image, quality=quality)  # 2-3x faster
```

**速度对比**：
| 操作 | cv2 | TurboJPEG | 提升 |
|------|-----|-----------|------|
| 解码 640x480 | ~5ms | ~2ms | **2.5x** |
| 编码 640x480 | ~8ms | ~3ms | **2.7x** |

### 4. 导航结果 JPEG 缓存

导航处理后的标注图像只在有新结果时编码一次，后续帧复用缓存：

```python
_nav_last_result_jpeg = None  # 缓存编码后的 JPEG

# 新结果时编码并缓存
if res.annotated_image is not None:
    _nav_last_result_jpeg = turbo_encode(res.annotated_image, quality=80)

# 广播时直接使用缓存
await _broadcast_to_viewers(_nav_last_result_jpeg)
```

---

## 修改文件

| 文件 | 修改内容 |
|------|----------|
| `app_main.py` | TurboJPEG 导入、turbo_decode/encode 函数、零拷贝直传、延迟解码、JPEG 缓存 |
| `requirements.txt` | 添加 PyTurboJPEG>=1.7.0 |
| `.env` | GPU 1 配置、性能参数优化 |

---

## 预期效果

| 场景 | 之前 | 之后 | 优化幅度 |
|------|------|------|---------|
| CHAT/IDLE 模式 | imdecode + imencode | 直接转发 | **-100%** |
| ITEM_SEARCH 模式 | imdecode + imencode | 直接转发 | **-100%** |
| 导航模式（新结果） | imdecode + imencode | turbo_decode + turbo_encode（一次） | **2-3x** |
| 导航模式（复用结果） | imdecode + imencode | 直接转发缓存 | **-100%** |

**综合效果**：
- 非导航场景：CPU 开销降低 **90%+**
- 导航场景（8fps，YOLO 约 2fps）：编码次数从 8 次/秒 降至 **2 次/秒**
- 编解码速度：提升 **2-3 倍**

---

## 部署步骤

```bash
# 服务器端
cd OpenAIglasses_for_Navigation
pip install PyTurboJPEG
python app_main.py

# 启动后应看到日志：
# [INIT] TurboJPEG 加载成功，JPEG 编解码将使用加速版本
```

---

## 验证结果 (2025-12-23 下午)

- [x] 服务器端部署后测试
- [x] 导航模式功能正常
- [x] 所有模式切换正常
- [x] nvidia-smi 确认使用 GPU 1
- [ ] 室外 4G 热点实测传输流畅度（待测）

---

## 新问题诊断

### 问题现象

测试盲道导航时发现：
1. **GPU 利用率仅 7%** - 远低于预期
2. **Python 进程占用 120% CPU** - 但服务器总 CPU 仅 3%（56 核利用率极低）
3. **帧处理 FPS 仅 3-4 帧** - 画面卡顿严重
4. **TTS 语音有时不播放** - 音频 WebSocket 断开导致缓冲

### 根本原因：Python GIL 瓶颈

```
┌─────────────────────────────────────────────────────────────┐
│                    Python 进程                              │
│  ┌─────────────────────────────────────────────────────┐    │
│  │              GIL (全局解释器锁)                      │    │
│  │      同一时刻只有一个线程执行 Python 代码            │    │
│  └─────────────────────────────────────────────────────┘    │
│                                                             │
│  Thread 1 (frame_proc-0) ──▶ 执行中                         │
│  Thread 2 (frame_proc-1) ──▶ 等待 GIL                       │
│  Thread 3 (frame_proc-2) ──▶ 等待 GIL                       │
│                                                             │
│  结果：3 个线程实际只能用 1 个 CPU 核心                      │
└─────────────────────────────────────────────────────────────┘
```

**关键代码位置**：
```python
# app_main.py 第 237 行
frame_processing_executor = ThreadPoolExecutor(max_workers=3, ...)
```

`ThreadPoolExecutor` 受 GIL 限制，无法真正并行化 CPU 密集型任务。

---

## 遗留问题与解决方案

### 问题 1：CPU 单线程瓶颈

**状态**：❌ 未解决

**解决方案**：使用 **PyNvJpeg** 将 JPEG 编解码移到 GPU

```bash
pip install pynvjpeg
```

**实施步骤**：

1. 创建 `gpu_jpeg.py` 模块
2. 修改 `app_main.py` 替换 turbo_decode/turbo_encode

### 问题 2：TTS 语音不播放

**状态**：❌ 未解决

**现象**：`[TTS->WS] Buffering TTS audio, will send when reconnected`

**原因**：音频 WebSocket 断开

### 问题 3：画面卡顿/滞后

**状态**：⚠️ 待问题 1 解决后验证

---

## 明日开发计划

1. **安装 PyNvJpeg**：`pip install pynvjpeg`
2. **创建 gpu_jpeg.py 模块**
3. **修改 app_main.py 使用 GPU JPEG**
4. **性能验证**：`watch -n 1 nvidia-smi`
5. **验证 TTS 播放问题**

---

## 服务器配置

| 组件 | 配置 |
|------|------|
| CPU | 2× Intel Xeon E5-2680 v4 (56 线程) |
| 内存 | 192 GB DDR4 |
| GPU | 2× NVIDIA RTX 3090 (24 GB) |