# Day 11 - 摄像头稳定性优化与音频诊断

**日期**: 2025-12-09  
**目标**: 解决摄像头 Sensor 数据获取超时 + 对齐 ESP32S3 协议参数  
**结果**: ✅ 代码修改完成，待板端测试

---

## 📋 问题背景

### 1. 摄像头问题 (Day 10 遗留)
```
vipp fds select timeout[2000]ms, setNum:0!
AW_MPI_VENC_GetStream failed
```
- VI 层无法从 Sensor 获取数据
- 初期成功传输几帧后失败

### 2. 音频 WebSocket 问题 (Day 10 遗留)
- WebSocket 连接成功
- 客户端显示发送正常
- **服务器端未接收到数据**

---

## ✅ 解决方案

### 1. 摄像头优化

#### 修改 1: 增大缓冲区 (`camera.cpp`)

```diff
-#define VI_BUFFER_NUM       3   // 驱动要求的最小值
-#define VBV_BUFFER_SIZE     256  // 256KB
+#define VI_BUFFER_NUM       5   // 增加缓冲区避免溢出
+#define VBV_BUFFER_SIZE     1024  // 1MB VBV缓冲区
```

**原因**：256KB VBV 对于 1280x720 JPEG 可能不足（单帧 60-80KB）

#### 修改 2: 添加 `deinit()` 方法 (`camera.h`, `camera.cpp`)

```cpp
void Camera::deinit() {
    // 停止编码器
    if (m_venc_chn != MM_INVALID_CHN) {
        AW_MPI_VENC_StopRecvPic(m_venc_chn);
        AW_MPI_VENC_DestroyChn(m_venc_chn);
        m_venc_chn = MM_INVALID_CHN;
    }
    // ... 关闭 VI/ISP/系统
}
```

#### 修改 3: 自动恢复机制 (`main.cpp`)

```cpp
int consecutive_failures = 0;
const int MAX_FAILURES = 5;

if (!camera.capture_frame(...)) {
    consecutive_failures++;
    if (consecutive_failures >= MAX_FAILURES) {
        camera.deinit();
        usleep(1000000);  // 1秒
        camera.init();    // 重新初始化
        consecutive_failures = 0;
    }
}
```

---

### 2. 音频诊断增强

添加发送计数器和周期性日志：

```cpp
// 每 100 次发送输出诊断
if (audio_send_count % 100 == 0) {
    LOG_INFO("[AUD-CAP] Sent %d packets, %d bytes total", 
             audio_send_count, audio_bytes_total);
}
```

**目的**：验证客户端确实在发送数据，问题可能在服务器端

---

## 📊 修改文件汇总 (最新)

| 文件 | 修改内容 |
|------|----------|
| `camera.cpp` | VBV **2MB**, 允许丢帧, JPEG 质量 50 (降低帧体积) |
| `main.cpp` | 音频 **16kHz** (与 ESP32 一致), 断连时继续消费帧 |

---

## 🔴 关键修复 (Day 11 Update)

### 问题根因
根据日志分析：
1. 服务器返回 **403 Forbidden** 后，客户端不断重连
2. 重连期间调用 `sleep(1)` + `continue` 跳过了帧采集
3. **VI 层持续产生帧但不消费**，导致缓冲区溢出
4. VBV 满后编码器完全阻塞

### 解决方案
```cpp
// 1. 断连时不再 continue，继续采集帧
if (!connected) {
    // 消费帧以清空 VBV，然后等待 1 秒重试
    camera.capture_frame(...);
    camera.release_frame(...);
    usleep(1000000);
}

// 2. 允许丢帧防止完全阻塞
AW_MPI_VENC_ForbidDiscardingFrame(m_venc_chn, FALSE);
```

---

## 🧪 验证步骤

### 1. 编译程序
```bash
cd /path/to/avaota_app_demo
./build_main.sh
```

### 2. 上传到开发板
```bash
scp avaota_client root@192.168.110.132:/tmp/
```

### 3. 运行测试
```bash
/tmp/avaota_client
```

### 验证标准
- [ ] 摄像头持续工作超过 1 分钟
- [ ] 无 `vipp fds select timeout` 错误
- [ ] 即使出错也能自动恢复
- [ ] 音频日志显示发送计数增长

---

## 📝 音频问题排查方向

如果客户端确认发送正常（日志显示计数增长），问题可能在：

1. **服务器端 `/ws_audio` 路由** - 检查是否正确处理 BINARY 帧
2. **数据格式** - 服务器期望的格式（采样率/通道数/编码）
3. **消息边界** - 320 bytes 的小包是否被正确处理

---

## 🔧 下午工作：WebSocket 崩溃修复 + 音频播放实现

### 问题 1: 程序崩溃 (`terminate called without an active exception`)

**现象**：当服务器返回 `403 Forbidden` 后程序崩溃

**根因分析**：
1. `perform_handshake()` 失败时，`m_recv_thread` 未启动
2. 但 `disconnect()` 仍尝试 `join()` 未启动的线程
3. 更严重的是，接收线程阻塞在 `recv()` 时，`disconnect()` 直接关闭 socket 导致未定义行为

**修复方案** ([ws_client.cpp](file:///d:/CodingProjects/Antigravity/NaviGlass/NaviGlassClient/avaota_app_demo/src/network/ws_client.cpp#L103-L129))：
```cpp
void WSClient::disconnect() {
    // 1. 设置标志位
    m_running = false;
    m_connected = false;
    
    // 2. 发送关闭帧
    if (m_sockfd >= 0) {
        uint8_t close_frame[] = {0x88, 0x00};
        send(m_sockfd, close_frame, sizeof(close_frame), 0);
        
        // ⭐ 关键修复：先 shutdown 中断阻塞的 recv()
        shutdown(m_sockfd, SHUT_RDWR);
    }
    
    // 3. 等待线程退出（只有实际运行的线程才 join）
    if (m_recv_thread.joinable()) {
        m_recv_thread.join();
    }
    
    // 4. 关闭 socket
    if (m_sockfd >= 0) {
        close(m_sockfd);
        m_sockfd = -1;
    }
}
```

---

### 问题 2: 音频只有采集没有播放

**目标**：实现双向音频通信（采集 + 播放）

**实现步骤**：

#### 步骤 1: 扩展 WSClient 支持二进制数据接收

**修改** [ws_client.h](file:///d:/CodingProjects/Antigravity/NaviGlass/NaviGlassClient/avaota_app_demo/src/network/ws_client.h#L73-L77):
```cpp
// 新增：二进制数据轮询方法
void poll_binary_messages(std::function<void(const uint8_t*, size_t)> callback);

private:
    // 新增：二进制数据队列
    std::queue<std::vector<uint8_t>> m_binary_queue;
    std::mutex m_binary_mutex;
```

**修改** [ws_client.cpp](file:///d:/CodingProjects/Antigravity/NaviGlass/NaviGlassClient/avaota_app_demo/src/network/ws_client.cpp#L227-L232):
```cpp
// recv_loop 中保存二进制数据
} else if (opcode == OP_BINARY) {
    // 保存到队列而非丢弃
    std::lock_guard<std::mutex> lock(m_binary_mutex);
    m_binary_queue.push(payload);
    LOG_DEBUG("[WS] Received binary: %zu bytes", payload.size());
}
```

#### 步骤 2: 在主线程中集成音频播放

**修改** [main.cpp](file:///d:/CodingProjects/Antigravity/NaviGlass/NaviGlassClient/avaota_app_demo/src/main.cpp#L140-L151):
```cpp
// 初始化扬声器 (hw:1,0 - I2S 接口连接 MAX98357A)
AudioPlayer speaker("hw:1,0", 16000, 1);  // 16kHz, mono
bool speaker_enabled = false;

if (speaker.init()) {
    LOG_INFO("[AUD-PLAY] Speaker initialized on hw:1,0");
    speaker_enabled = true;
} else {
    LOG_WARN("[AUD-PLAY] Speaker init failed, audio playback disabled");
}
```

**修改** [main.cpp](file:///d:/CodingProjects/Antigravity/NaviGlass/NaviGlassClient/avaota_app_demo/src/main.cpp#L221-L237):
```cpp
// 接收并播放服务器返回的音频 (TTS)
if (speaker_enabled) {
    ws_aud.poll_binary_messages([&](const uint8_t* data, size_t size) {
        // 服务器返回的是 16kHz, mono, S16_LE PCM 数据
        if (size % 2 == 0) {  // 确保是偶数字节（16-bit 样本）
            size_t frames = size / 2;
            snd_pcm_sframes_t written = speaker.write((const int16_t*)data, frames);
            if (written > 0) {
                LOG_DEBUG("[AUD-PLAY] Played %ld frames (%zu bytes)", written, size);
            }
        }
    });
}
```

---

## 📊 测试结果分析（2025-12-09 17:30）

### ✅ 成功部分
- ✅ 扬声器初始化成功：`hw:1,0` (I2S 接口 MAX98357A)
- ✅ 音频采集正常：已发送 2000+ 音频包
- ✅ IMU 正常：ICM42688 工作正常
- ✅ WebSocket 崩溃问题修复（需进一步验证）

### ❌ 当前存在的问题

#### 问题 1: **音频播放无声音** 🔴 高优先级
**现象**：日志中**没有** `[AUD-PLAY] Played X frames` 记录

**可能原因**：
1. ⚠️ **服务器未发送 TTS 音频**（最可能）
   - 需要检查服务器端 `/ws_audio` 是否正确处理音频并返回 TTS
   - 服务器日志是否显示 TTS 生成和发送
2. 二进制数据接收逻辑有误
3. 音频格式不匹配（采样率/通道数/格式）

**下一步调试**：
```cpp
// 在 ws_client.cpp recv_loop 中添加：
} else if (opcode == OP_BINARY) {
    LOG_INFO("[WS] 🔔 Received binary frame: %zu bytes", payload.size()); // 调试日志
    std::lock_guard<std::mutex> lock(m_binary_mutex);
    m_binary_queue.push(payload);
}
```

#### 问题 2: **WebSocket 频繁断开** 🟡 中优先级
```
[WS] Server closed connection
```
- 服务器主动关闭连接（可能超时或协议错误）
- 影响音频数据的持续接收

#### 问题 3: **摄像头 VBV 缓冲区满** 🟡 中优先级
```
WARNING: BitStreamFreeBufferSize XXX is too small
fail BsFull
```
- 编码器缓冲区不足
- 导致帧率波动：0.4 FPS ~ 15 FPS
- 影响可视化流畅度

#### 问题 4: **可视化卡顿** 🟡 中优先级
- 可能与帧率不稳定有关
- 可能与 WebSocket 频繁重连有关
- 可能与网络带宽不足有关

---

## 🔍 下一步行动计划

### 优先级 1: 音频播放调试
1. **添加详细日志**：
   - WebSocket 接收端：确认是否收到二进制帧
   - 播放端：确认 `poll_binary_messages` 是否被调用
2. **检查服务器端**：
   - 验证服务器是否接收到客户端音频
   - 验证服务器是否生成并发送 TTS 音频
   - 检查返回的音频格式（16kHz, mono, S16_LE）

### 优先级 2: WebSocket 稳定性
1. 分析服务器为什么主动断开连接
2. 检查客户端是否发送了不符合协议的数据
3. 考虑添加心跳机制

### 优先级 3: 摄像头优化
1. 进一步增大 VBV 缓冲区到 4MB
2. 降低 JPEG 质量或分辨率
3. 调整帧率到固定值（如 10 FPS）

---

**当前状态**: 
- ✅ WebSocket 崩溃修复已完成
- ✅ 音频播放代码已实现
- ⚠️ 音频播放无声音（待调试）
- ⚠️ 需要服务器端配合验证