642 lines
26 KiB
Markdown
642 lines
26 KiB
Markdown
# NaviGlass项目开发任务清单
|
||
|
||
**项目**：NaviGlass项目开发
|
||
**平台**：全志 V821 (32-bit RISC-V)
|
||
**更新时间**：2026-01-06
|
||
**整体进度**：100%（室内导盲系统优化交付）
|
||
|
||
## 📖 快速导航
|
||
|
||
| 章节 | 说明 |
|
||
|------|------|
|
||
| [已完成任务](#-已完成任务) | Day 1-28 完成的功能 |
|
||
| [后续规划](#-后续规划与遗留问题) | 待办 / 债务 / 未来展望 |
|
||
| [进度统计](#-进度统计) | 各模块完成度 |
|
||
| [里程碑](#-里程碑) | 关键节点回顾 |
|
||
| [时间线](#-时间线) | 开发流水账 |
|
||
|
||
**相关文档**：
|
||
- [实现计划详情](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/implementation_plan_complete.md)
|
||
- [Day 日志](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/DevLogs/) (Day1-Day28)
|
||
|
||
---
|
||
|
||
## ✅ 已完成任务
|
||
|
||
### 基础环境配置
|
||
- [x] SDK 下载与编译
|
||
- [x] 工具链配置
|
||
- [x] 固件烧录测试
|
||
- [x] SSH 服务配置
|
||
|
||
### 网络通信层
|
||
- [x] libuwsc WebSocket 库编译
|
||
- [x] libcurl HTTP 库编译
|
||
- [x] UDP Socket 基础功能
|
||
- [x] 静态编译链接优化
|
||
|
||
### 音频系统
|
||
- [x] I2S 音频输出 (MAX98357A)
|
||
- [x] Device Tree 引脚配置 (PD12/PD13/PD15)
|
||
- [x] ALSA 播放测试
|
||
- [x] 音质验证
|
||
- [x] 模拟麦克风输入 (Audio Codec)
|
||
- [x] MIC Switch 配置
|
||
- [x] 增益调优 (MIC Gain = 25)
|
||
- [x] 录音功能测试
|
||
- [x] 音质验证
|
||
- [x] **音频错误处理与稳定性** (Day 10)
|
||
- [x] 修复 I/O 错误导致的崩溃问题
|
||
- [x] 实现设备自动重新初始化机制
|
||
- [x] 修复类型安全问题（size_t → snd_pcm_sframes_t）
|
||
- [x] 程序稳定性验证（36+ 秒无崩溃）
|
||
|
||
### IMU 传感器
|
||
- [x] ICM-42688-P 硬件连接
|
||
- [x] I2C 方案调研（失败，改用 SPI）
|
||
- [x] GPIO 模拟 SPI 实现
|
||
- [x] SPI 时序编码
|
||
- [x] 寄存器读写功能
|
||
- [x] WHO_AM_I 识别 (0x47)
|
||
- [x] 6 轴数据采集
|
||
- [x] 加速度计配置 (±16g)
|
||
- [x] 陀螺仪配置 (±2000°/s)
|
||
- [x] 温度监控
|
||
- [x] 数据验证测试
|
||
|
||
### 摄像头系统
|
||
- [x] GC2083 MIPI 配置
|
||
- [x] Device Tree 验证（已有配置）
|
||
- [x] ISP 参数加载 (gc2083_mipi)
|
||
- [x] 视频格式设置 (1280x720 @20fps)
|
||
- [x] MPP 框架集成
|
||
- [x] VI (视频输入) 模块
|
||
- [x] ISP (图像信号处理) 模块
|
||
- [x] VENC (视频编码) 模块
|
||
- [x] JPEG 硬件编码
|
||
- [x] Camera 类封装
|
||
- [x] 帧采集与测试
|
||
- [x] 帧缓冲管理 (5个VI, 4MB VBV)
|
||
- [x] JPEG 压缩 (质量80)
|
||
- [x] 测试程序验证 (100%成功率)
|
||
|
||
### 开发工具
|
||
- [x] 交叉编译脚本
|
||
- [x] 麦克风测试脚本 (test_mic.sh)
|
||
- [x] IMU 测试程序 (test_imu)
|
||
- [x] GPIO 测试程序 (test_gpio)
|
||
|
||
### 交叉编译配置 (Day 7)
|
||
- [x] 工具链路径验证
|
||
- [x] 确认实际工具链位置 (out/toolchain/nds32le-linux-glibc-v5d)
|
||
- [x] 编译器前缀统一为 riscv32-unknown-linux-
|
||
- [x] Makefile 配置更新
|
||
- [x] src/Makefile - 主程序编译
|
||
- [x] src/Makefile_test - 测试版本
|
||
- [x] 所有构建脚本 (build_*.sh)
|
||
- [x] 文档更新
|
||
- [x] Day7.md 工作日志
|
||
- [x] README.md 工具链说明
|
||
|
||
### 整体编译与集成 (Day 8)
|
||
- [x] 构建脚本修复
|
||
- [x] build_main.sh 路径问题修复
|
||
- [x] Makefile 链接库补充
|
||
- [x] 添加完整 Cedar 库列表
|
||
- [x] 解决 CDC_LOG_LEVEL_NAME 未定义错误
|
||
- [x] 主程序编译成功
|
||
- [x] avaota_client (3.9MB)
|
||
- [x] 集成所有模块（音频/IMU/摄像头/网络）
|
||
|
||
### musl 工具链修复 (Day 9)
|
||
- [x] 识别 glibc/musl 不兼容问题
|
||
- [x] 通过 ldd 诊断动态链接器错误
|
||
- [x] 确认开发板运行 musl libc 1.2.4
|
||
- [x] 发现符号不兼容 (`__register_atfork`)
|
||
- [x] 定位正确的 musl 工具链
|
||
- [x] 查找 SDK 工具链目录
|
||
- [x] 发现 musl 在 `prebuilt/rootfsbuilt/riscv/`
|
||
- [x] 更正 Makefile 路径配置
|
||
- [x] 重新编译程序
|
||
- [x] 使用 musl 工具链重新编译
|
||
- [x] 验证动态链接器为 `/lib32/ld.so.1`
|
||
- [x] 程序成功运行并通过测试
|
||
|
||
### 板端部署与测试 (Day 9)
|
||
- [x] WiFi 网络配置
|
||
- [x] 连接到局域网 (192.168.110.132)
|
||
- [x] 验证网络连通性
|
||
- [x] 程序部署
|
||
- [x] musl 版本上传到 /tmp/avaota_client
|
||
- [x] 创建动态链接器符号链接
|
||
- [x] 硬件功能测试
|
||
- [x] IMU 传感器测试通过 (WHO_AM_I=0x47)
|
||
- [x] 音频采集测试通过 (16kHz mono)
|
||
- [x] 摄像头测试通过 (1280x720@20fps)
|
||
- [x] ISP 系统正常运行
|
||
- [x] JPEG 编码器正常工作
|
||
- [x] 程序稳定性测试
|
||
- [x] 多线程正常运行
|
||
- [x] 心跳日志稳定
|
||
- [x] 优雅退出验证 (Ctrl+C)
|
||
|
||
### 网络通信测试 (Day 10-17)
|
||
- [x] WebSocket 连接测试
|
||
- [x] 服务器已部署 (192.168.110.188:8081)
|
||
- [x] 音频 WebSocket 连接成功
|
||
- [x] 摄像头 WebSocket 连接成功
|
||
- [x] 摄像头初期传输 JPEG 帧成功
|
||
- [x] 音频播放功能（TTS 播放流畅，断连恢复机制已验证）
|
||
- [x] 摄像头 VBV 缓冲区优化（256KB → 2MB）
|
||
- [x] UDP 数据传输测试
|
||
- [x] UDP 发送验证
|
||
- [x] IMU 数据实时上传成功，服务器正常接收
|
||
- [x] **Day 17: frpc.toml 添加 UDP 12345 代理，公网传输正常**
|
||
|
||
### 网络模块优化 (Day 11)
|
||
- [x] **WebSocket 崩溃修复**
|
||
- [x] 识别崩溃原因（disconnect() 处理不当）
|
||
- [x] 添加 shutdown() 中断阻塞的 recv()
|
||
- [x] 修复线程 join() 逻辑
|
||
- [x] 验证 403 错误时不再崩溃
|
||
- [x] **音频播放功能实现**
|
||
- [x] 扩展 WSClient 支持二进制数据接收
|
||
- [x] 添加 poll_binary_messages() 方法
|
||
- [x] 实现二进制数据队列（m_binary_queue）
|
||
- [x] 集成 AudioPlayer 使用 hw:1,0 设备
|
||
- [x] 实现 TTS 音频接收和播放逻辑
|
||
|
||
### TTS 播放优化与事件循环阻塞修复 (Day 13)
|
||
- [x] **Omni 客户端异步化（核心修复）**
|
||
- [x] 识别同步迭代器阻塞 asyncio 事件循环
|
||
- [x] 使用 `threading.Thread` + `asyncio.Queue` 解耦
|
||
- [x] TTS 块间隔从 5-15 秒降至 ~2 秒
|
||
- [x] **客户端 TTS 预缓冲机制**
|
||
- [x] 实现 16000 帧（1秒）预缓冲
|
||
- [x] 添加最小播放阈值（8000 帧）
|
||
- [x] 优化播放批次大小（100ms）
|
||
- [x] **服务器退出修复**
|
||
- [x] lifespan 捕获 CancelledError
|
||
- [x] 添加强制退出线程
|
||
- [x] Ctrl+C 后正常返回 shell
|
||
- [x] **TTS 音频传输优化**
|
||
- [x] 8kHz → 16kHz 上采样
|
||
- [x] WebSocket 断开时 TTS 缓存机制
|
||
- [x] WebSocket 引用保护
|
||
- [x] **TTS 播放流畅度** ✅（服务器端修复后已流畅）
|
||
|
||
### 项目清理与 TTS 流畅 (Day 14)
|
||
- [x] **项目清理**
|
||
- [x] 删除 HTTP TTS 相关文件 (http_tts_stream.*, http_client.*)
|
||
- [x] 删除测试脚本 (build_test*.sh, debug_*.sh)
|
||
- [x] 删除测试源码 (test_*.cpp, main_test.cpp)
|
||
- [x] 删除冗余文件 (Makefile_test, build_phase*.sh)
|
||
- [x] 清理后仅保留核心文件
|
||
- [x] **恢复 WebSocket TTS**
|
||
- [x] 移除 HTTP TTS 线程
|
||
- [x] 恢复 audio_capture_thread 中的 TTS 播放
|
||
- [x] 更新 Makefile 移除 HTTP 文件
|
||
- [x] **服务器端导航器预初始化** ✅
|
||
- [x] 识别导航器延迟初始化问题（客户端连接后才加载）
|
||
- [x] 在服务器启动时预初始化 BlindPathNavigator/CrossStreetNavigator/NavigationMaster
|
||
- [x] 客户端连接无延迟
|
||
- [x] **增大 TTS 预缓冲**
|
||
- [x] PRE_BUFFER_FRAMES: 8000 → 32000 (0.5s → 2s)
|
||
- [x] MIN_PLAY_FRAMES: 3200 → 4800
|
||
- [x] **服务器端 TTS 阻塞修复** ✅
|
||
- [x] 识别 HTTP 20ms 节拍循环阻塞 WebSocket 发送
|
||
- [x] 将 HTTP 广播改为后台任务 `asyncio.create_task()`
|
||
- [x] TTS 播放已流畅！
|
||
|
||
### 导航性能优化与调试 (Day 15)
|
||
- [x] **修复导航模式严重卡顿**
|
||
- [x] 识别根因：主线程 await 等待 CPU 密集型任务（Process Frame）
|
||
- [x] 实现非阻塞跳帧机制（后台线程处理 + 最新帧优先）
|
||
- [x] 验证 FPS 恢复（导航模式 0.9 FPS -> 10.0 FPS）
|
||
- [x] **YOLO 检测频率优化**
|
||
- [x] 盲道检测间隔设为 5 帧
|
||
- [x] **修复模型重复加载 BUG**
|
||
- [x] 解决 `app_main` 模块重载问题
|
||
- [x] **用户体验优化**
|
||
- [x] 调整导航语音冷却时间 (1.0s -> 3.0s)
|
||
- [x] 添加详细性能诊断日志
|
||
|
||
### 固件重刷与自启动配置 (Day 16)
|
||
- [x] **修复动态链接器路径问题**
|
||
- [x] Makefile 添加 `-Wl,--dynamic-linker=/lib/ld-musl-riscv32.so.1`
|
||
- [x] 无需手动创建 `/lib32/ld.so.1` 符号链接
|
||
- [x] **配置程序自启动**
|
||
- [x] 使用 `/etc/init.d/avaota` + `load_script.conf` 方案
|
||
- [x] 发现 `rc.final` 会导致 SD 卡检测失败（已规避）
|
||
- [x] 发现 `crontab @reboot` 不支持（BusyBox crond）
|
||
- [x] 需要 15 秒延迟等待音频系统就绪
|
||
- [x] 实现 start/stop 命令支持
|
||
- [x] **确认 WiFi 自动连接**
|
||
- [x] 系统自动保存配置到 `/etc/wifi/wifimg.config`
|
||
- [x] **配置公网服务器访问**
|
||
- [x] 修改 `main.cpp` 服务器地址为公网 IP `8.148.25.142`
|
||
- [x] 配置 frp 内网穿透（frpc.toml）
|
||
- [x] 测试 iPhone 热点连接成功
|
||
|
||
### 室外测试与语音系统优化 (Day 17)
|
||
- [x] **室外实地测试**
|
||
- [x] 开发板通过 iPhone 热点连接公网服务器
|
||
- [x] 摄像头视频流传输正常
|
||
- [x] 过马路导航语音播报正常
|
||
- [x] 发现盲道导航无语音播报问题
|
||
- [x] **IMU 公网传输修复**
|
||
- [x] 识别 frpc.toml 缺少 UDP 12345 配置
|
||
- [x] 添加 UDP 代理配置
|
||
- [x] 公网服务器防火墙开放 UDP 12345
|
||
- [x] **盲道导航语音修复**
|
||
- [x] 识别根因：线程池中无法运行 asyncio 协程
|
||
- [x] 移除 `workflow_blindpath.py` 内部 `play_voice_text` 调用
|
||
- [x] 统一由 `app_main.py` 处理语音播放
|
||
- [x] **IMU 采样率优化**
|
||
- [x] 从 50Hz 降低到 10Hz 减少对音频的干扰
|
||
- [x] **扬声器杂音分析**
|
||
- [x] 确认为硬件层面问题（电磁干扰、接地不良）
|
||
- [x] 需硬件层面改进（加磁环、重新布线）
|
||
|
||
### 性能优化与紧急修复 (Day 18)
|
||
- [x] **服务器性能深度优化**
|
||
- [x] **YOLO 推理加速**: 启用 FP16 半精度 + 动态分辨率 (RTX 3090 优化)
|
||
- [x] **模型层融合**: 添加 fuse() 操作与 CUDA 预热
|
||
- [x] **线程池扩张**: max_workers 2 -> 3
|
||
- [x] **音频延迟与协议优化**
|
||
- [x] **协议统一**: 客户端/服务器统一使用 20ms (320 samples) 音频包
|
||
- [x] **延迟降低**: TTS 预缓冲从 2s 降至 0.5s
|
||
- [x] **网络/传输瓶颈修复**
|
||
- [x] **WebSocket 并行广播**: 引入 `asyncio.gather` 解决多客户端卡顿
|
||
- [x] **户外网络适配**: 相机增加 "Outdoor Mode" (8fps/Q45)
|
||
- [x] **紧急 Bug 修复**
|
||
- [x] 修复 `NameError` (MODEL/imports) 导致的服务崩溃
|
||
- [x] 修复 `.env` 未加载导致的 GPU 禁用（解决画面假死）
|
||
|
||
### 传输优化与 TurboJPEG 加速 (Day 19)
|
||
- [x] **零拷贝直传**
|
||
- [x] CHAT/IDLE/ITEM_SEARCH 模式直接转发原始 JPEG
|
||
- [x] 跳过无意义的 imdecode + imencode 循环
|
||
- [x] **延迟解码**
|
||
- [x] 只在导航模式才执行 cv2.imdecode
|
||
- [x] 非导航场景 CPU 开销降低 90%+
|
||
- [x] **TurboJPEG 集成**
|
||
- [x] 替换 cv2.imencode/imdecode，速度提升 2-3 倍
|
||
- [x] 带回退逻辑，未安装时自动使用 cv2
|
||
- [x] **导航结果 JPEG 缓存**
|
||
- [x] 新结果编码一次后复用，编码次数 8→2 次/秒
|
||
- [x] **GPU 配置修正**
|
||
- [x] .env 配置使用 GPU 1 (CUDA_VISIBLE_DEVICES=1)
|
||
|
||
### 性能瓶颈深度分析与 UI 优化 (Day 20)
|
||
- [x] **服务器性能优化**
|
||
- [x] **日志精简**: `_detect_obstacles` 输出从 20 行/次减到 1 行/30帧
|
||
- [x] **GPU 并发槽位**: 从 2 增加到 4
|
||
- [x] **TTS WebSocket 修复**: 连接时立即保存引用
|
||
- [x] **可视化网页优化**
|
||
- [x] **IMU 浮窗缩小**: 宽度 600px，添加可折叠功能
|
||
- [x] **折叠状态优化**: 完全隐藏 3D 模型和数据面板
|
||
- [x] **Badge 动画**: 连接中闪烁、已连接脉冲呼吸
|
||
- [x] **状态中文化**: `📷 已连接` 替代英文
|
||
- [x] **底部边界修复**: 移除 `.chat { height: 100vh }`
|
||
- [x] **背景色统一**: 左右两栏使用相同的 `var(--card)`
|
||
- [x] **Favicon 添加**: `/static/favicon.png`
|
||
- [x] **移动端适配**: @media 600px/1100px 响应式布局
|
||
- [x] **Numba 多核加速**
|
||
- [x] 创建 `numba_utils.py` JIT 编译工具函数
|
||
- [x] mask 像素计数、统计、交集计算加速
|
||
- [x] 启动时 JIT 预热，避免首次调用延迟
|
||
- [x] **TensorRT 模型加速**
|
||
- [x] 导出 `yolo-seg.engine`、`yoloe-11l-seg.engine`、`trafficlight.engine` (FP16)
|
||
- [x] 创建 `model_utils.py` 自动选择 .engine 文件
|
||
- [x] 修复 `.to()` / `.fuse()` 不兼容 TensorRT 问题
|
||
- [x] 修复推理尺寸不匹配 (640→480)
|
||
- [x] 统一使用环境变量 `AIGLASS_YOLO_IMGSZ=480`
|
||
|
||
### AI 管道修复与音频优化 (Day 21-22)
|
||
- [x] **GLM API 修复**
|
||
- [x] 升级至 `zai-sdk` + `glm-4.6v-flash`
|
||
- [x] 修复 Error 400/1210 调用问题
|
||
- [x] **语音识别修复**
|
||
- [x] SenseVoice 语言固定为 `zh` (解决韩语误识)
|
||
- [x] **VAD 截断修复**: 引入 300ms 环形缓冲，解决首字丢失
|
||
- [x] **音频系统优化**
|
||
- [x] **TTS 语速排查**: 确认源文件语速，用户决定保留
|
||
- [x] **底噪优化**:
|
||
- [x] 软件规避 (80%音量)
|
||
- [x] **彻底解决**: 移除串口/USB供电，改用电池消除共地干扰
|
||
- [x] **AI 回答质量**:
|
||
- [x] 升级模型至 `glm-4.6v-flash` (预期解决相关性问题)
|
||
|
||
### 移动端适配与部署优化 (Day 23)
|
||
- [x] **移动端可视化界面修复**
|
||
- [x] `.stage` 容器添加 `min-height: 50vh`
|
||
- [x] `fitCanvas()` 使用容器实际高度
|
||
- [x] IMU 浮窗移到右下角，默认折叠
|
||
- [x] **PM2 服务器部署**
|
||
- [x] 一行命令启动配置
|
||
- [x] VAD 模型本地缓存优先（启动 30s→3s）
|
||
- [x] **红绿灯检测卡顿修复**
|
||
- [x] 实现非阻塞跳帧机制
|
||
- [x] 独立缓存（不干扰盲道导航）
|
||
- [x] 停止时清除缓存
|
||
- [x] **Nginx 域名配置**
|
||
- [x] naviglass.hbyrkj.top 反向代理
|
||
- [x] WebSocket 支持
|
||
|
||
### YOLOE 室内导盲模型训练 (Day 24)
|
||
- [x] **训练指南完善**
|
||
- [x] 更新 PyTorch 版本 (cu124)
|
||
- [x] 简化 conda 环境名
|
||
- [x] 统一目录结构 (val → valid)
|
||
- [x] **Indoor Obstacle Detection 数据集**
|
||
- [x] 选择 v11 版本 (1440+57+54 张图片)
|
||
- [x] 8 个类别：closed_door, door, elevator, escalator, footpath, obstacle, person, wall
|
||
- [x] YOLOv11 原生格式，无需转换
|
||
- [x] **服务器训练启动**
|
||
- [x] 配置 GPU 1 (RTX 3090)
|
||
- [x] RAM 缓存加速 (192GB)
|
||
- [x] 150 epochs 训练进行中
|
||
|
||
### 室内导盲分割模型完成 (Day 25)
|
||
- [x] **训练问题修复**
|
||
- [x] 发现 YOLOE 不支持自定义类别训练
|
||
- [x] 改用标准 `yolo11l-seg.pt` 模型
|
||
- [x] **MIT Indoor 数据集筛选**
|
||
- [x] 从 2573 类别筛选出 14 个导盲相关类别
|
||
- [x] 创建 `filter_categories.py` 脚本
|
||
- [x] 生成 `indoor_blind` 数据集 (1265+363+175 张)
|
||
- [x] **训练完成**
|
||
- [x] 模型参数：27.6M
|
||
- [x] 推理速度：4.8ms/张 (训练) / 23ms/张 (验证)
|
||
- [x] **模型验证**
|
||
- [x] 测试集 175 张图片全部通过
|
||
- [x] 14 类别全部可检测
|
||
- [x] 无检测率仅 2.3%
|
||
|
||
### 室内导盲服务器集成 (Day 26)
|
||
- [x] **状态机扩展**
|
||
- [x] `NavigationMaster` 支持 `INDOOR_NAV` 状态
|
||
- [x] 实现 `start_indoor_navigation` 切换逻辑
|
||
- [x] **模型集成**
|
||
- [x] `load_indoor_model` 支持 TensorRT 引擎加载
|
||
- [x] `app_main.py` 集成室内导航器初始化
|
||
- [x] **交互支持**
|
||
- [x] 支持 "室内导航" / "室内导盲" 语音唤醒
|
||
- [x] ASR 白名单更新
|
||
- [x] **流程打通**
|
||
- [x] 预热与推理流程验证通过
|
||
|
||
- [x] **Bug 修复与优化**
|
||
- [x] **命令冲突修复**: 修复 "停止室内导航" 误触发启动的问题
|
||
- [x] **检测互斥**: 室内模式下禁用室外斑马线检测
|
||
- [x] **日志净化**: 屏蔽启动时冗余警告 (TRT/YOLO/Audio)
|
||
- [x] **EdgeTTS 磁盘缓存**: 持久化 TTS 合成结果
|
||
- [x] **可配置日志间隔**: `AIGLASS_LOG_INTERVAL` 环境变量
|
||
- [x] **项目文件清理**: 释放 ~1.75GB
|
||
|
||
- [x] **室内导航工作流**
|
||
- [x] 创建专用 `workflow_indoor.py` (IndoorNavigator)
|
||
- [x] 14 类别映射: floor/corridor/sidewalk + 障碍物类别
|
||
- [x] 可行走区域检测与方向引导
|
||
- [x] 障碍物避障与兴趣点提示
|
||
|
||
### 室内导盲模型优化 (Day 27)
|
||
- [x] **训练错误修复**
|
||
- [x] 修复 `Loss NaN/Inf` (关闭 AMP 混合精度)
|
||
- [x] 创建 `check_dataset_health.py` 数据完整性验证脚本
|
||
- [x] **代码集成完善**
|
||
- [x] **20类数据适配**: 更新 `workflow_indoor.py` 类别映射
|
||
- [x] **模型路径更新**: `app_main.py` 默认加载 `yolo11l-seg-indoor.engine`
|
||
- [x] **代码清理**: 移除所有 `indoor14` 旧引用
|
||
- [x] **数据集终极优化 (22类)**
|
||
- [x] **餐具扩展**: 合并 Spoon/Fork/Chopstick 数据集，强化 `tableware` (ID 21)
|
||
- [x] **跨平台路径修复**: 解决 Windows 生成 `data.yaml` 在 Linux 报错问题
|
||
- [x] **文档同步**: 更新《训练指南》至 V2 (22类 + 路径注意)
|
||
|
||
### 室内导航优化与 Bug 修复 (Day 28)
|
||
- [x] **模型精准化**
|
||
- [x] 切换至 `yolo11l-seg-indoor14.engine` (14类)
|
||
- [x] 更新 `workflow_indoor.py` 类别映射
|
||
- [x] 地面检测率提升，解决无路误报
|
||
- [x] **语音播报修复**
|
||
- [x] **强制首播**: 解决初始无路提示被节流的问题
|
||
- [x] **即时反馈**: 启动命令后立即播报“正在寻找可行走区域”
|
||
- [x] **音频 Pop 消除**: 增加静音填充至 200ms
|
||
- [x] **崩溃修复**: 移除 undefined class 引用
|
||
- [x] **终端 WiFi 诊断**
|
||
- [x] 确认断连不可恢复为 OS 层面问题
|
||
- [x] 建议部署 `wifi_check.sh` 守护脚本
|
||
|
||
---
|
||
|
||
## 🛤️ 后续规划与遗留问题
|
||
|
||
### 🔴 优先待办 (Priority)
|
||
- [ ] **稳定性验证**: 长时间运行测试（5分钟基础 / 1小时稳定性 / 内存泄漏检查）
|
||
- [ ] **异常恢复**: 模拟断网重连、设备异常恢复等边界条件
|
||
- [ ] **WiFi 保活**: 部署终端脚本 `wifi_check.sh` 解决断网不重连问题
|
||
|
||
### 🟠 技术债务 (Debt)
|
||
1. **音频底噪**: 需探索软件降噪 (AEC/ANS) 以消除回环底噪
|
||
2. **硬件屏蔽**: 扬声器电流声需硬件改进（磁环/布线）
|
||
3. **代码规范**: 补充单元测试，统一注释风格
|
||
|
||
### 🔵 长期探索 (Future)
|
||
- [ ] **硬件升级**: 尝试硬件 SPI 替代 GPIO 模拟（提升 IMU 采样率）
|
||
- [ ] **I2C 攻坚**: 重新探索 ICM-42688 的 I2C 通信模式
|
||
- [ ] **能效优化**: 内存占用优化与 CPU 负载平衡
|
||
|
||
|
||
## 📊 进度统计
|
||
|
||
### 总体进度
|
||
```
|
||
████████████████████ 100%
|
||
```
|
||
**🎉 核心功能完成！项目代码已清理！**
|
||
|
||
### 各模块进度
|
||
|
||
| 模块 | 进度 | 状态 |
|
||
|------|------|------|
|
||
| SDK 环境 | 100% | ✅ 完成 |
|
||
| 网络库 | 100% | ✅ 完成 |
|
||
| 音频输出 | 100% | ✅ 完成 |
|
||
| 音频输入 | 100% | ✅ 完成 |
|
||
| 音频稳定性 | 100% | ✅ 完成 (Day 10) |
|
||
| IMU 传感器 | 100% | ✅ 完成 |
|
||
| 摄像头 | 100% | ✅ 完成 |
|
||
| 工具链配置 | 100% | ✅ 完成 |
|
||
| musl 工具链 | 100% | ✅ 完成 |
|
||
| 整体编译 | 100% | ✅ 完成 |
|
||
| 网络通信 | 100% | ✅ 完成 |
|
||
| 板端测试 | 100% | ✅ 所有硬件通过 |
|
||
| TTS 播放 | 100% | ✅ 流畅播放 (Day 14) |
|
||
| 项目清理 | 100% | ✅ Day 14 完成 |
|
||
| 导航模式 | 100% | ✅ Day 15 修复 |
|
||
| 服务器优化 | 100% | ✅ Day 18-19 完成 |
|
||
| AI 交互管道 | 100% | ✅ Day 21-22 修复 (GLM-4V/SenseVoice) |
|
||
| 室内导盲模型 | 100% | ✅ Day 28 优化交付 (14类模型) |
|
||
|
||
---
|
||
|
||
## 🎯 里程碑
|
||
|
||
### Milestone 1: 基础设施 ✅
|
||
**完成时间**: Day 1-2
|
||
**成果**: SDK 编译成功、网络库就绪、工具链配置完成
|
||
|
||
### Milestone 2: 音频系统 ✅
|
||
**完成时间**: Day 3-4
|
||
**成果**: 扬声器播放正常、麦克风录音清晰、参数优化完成
|
||
|
||
### Milestone 3: IMU 传感器 ✅
|
||
**完成时间**: Day 4
|
||
**成果**: SPI 驱动实现、6轴数据采集、测试验证通过
|
||
|
||
### Milestone 4: 摄像头系统 ✅
|
||
**完成时间**: Day 5
|
||
**成果**: MPP框架集成、JPEG 编码正常、100%捕获成功率
|
||
|
||
### Milestone 5: 工具链配置与整体编译 ✅
|
||
**完成时间**: Day 7-8
|
||
**成果**: 工具链配置验证、Makefile 统一更新、主程序编译成功 (3.9MB)
|
||
|
||
### Milestone 6: musl 工具链修复 ✅
|
||
**完成时间**: Day 9 (上午)
|
||
**成果**: 识别并解决 glibc/musl 不兼容问题、定位正确的 musl 工具链路径
|
||
|
||
### Milestone 7: 板端测试验证 ✅
|
||
**完成时间**: Day 9 (下午)
|
||
**成果**: WiFi 配置成功、所有硬件模块测试通过、程序稳定性验证
|
||
|
||
### Milestone 8: 音频稳定性修复 + 网络通信验证 ✅
|
||
**完成时间**: Day 10
|
||
**成果**: 修复音频崩溃问题、WebSocket 连接成功、IMU UDP 传输正常
|
||
|
||
### Milestone 9: 网络模块稳定性优化 ✅
|
||
**完成时间**: Day 11
|
||
**成果**: 修复 WebSocket 崩溃、实现音频双向通信、VBV 缓冲区优化
|
||
|
||
### Milestone 10: 摄像头稳定性优化 ✅
|
||
**完成时间**: Day 11-12
|
||
**成果**: VBV 缓冲区 256KB→2MB、VI 缓冲区 3→5、错误恢复机制
|
||
|
||
### Milestone 11: 音频交互修复与系统加固 ✅
|
||
**完成时间**: Day 12
|
||
**成果**: 修复链接器符号冲突、解决音频采集无数据问题、恢复全系统功能
|
||
|
||
### Milestone 12: TTS 播放优化与事件循环阻塞修复 ✅
|
||
**完成时间**: Day 13
|
||
**成果**: Omni 客户端异步化、TTS 块间隔从 5-15s 降至 ~2s、服务器退出修复
|
||
|
||
### Milestone 13: 项目清理与 TTS 流畅 ✅
|
||
**完成时间**: Day 14
|
||
**成果**: 删除 19 个冗余文件、服务器端 TTS 阻塞修复、TTS 播放已流畅
|
||
|
||
### Milestone 14: 导航模式卡顿修复 ✅
|
||
**完成时间**: Day 15
|
||
**成果**: 高性能跳帧机制、FPS 从 0.5 恢复至 10.0、语音导航频率优化
|
||
|
||
### Milestone 15: 固件重刷与自启动配置 ✅
|
||
**完成时间**: Day 16
|
||
**成果**: 动态链接器路径修复、自启动方案确定、WiFi 自动连接验证
|
||
|
||
### Milestone 16: 室外测试与语音系统优化 ✅
|
||
**完成时间**: Day 17
|
||
**成果**: 室外测试成功、IMU 公网传输修复、盲道语音修复、IMU 降至 10Hz
|
||
|
||
### Milestone 17: 深度性能优化与修复 ✅
|
||
**完成时间**: Day 18
|
||
**成果**:
|
||
- **高性能推理**: RTX 3090 实现 20+ FPS (FP16 + 动态分辨率)
|
||
- **音频优化**: 统一 20ms 音频包，TTS 延迟显著降低
|
||
- **Bug 修复**: 解决 NameError 崩溃、GPU 配置失效问题
|
||
|
||
### Milestone 18: 传输优化与 TurboJPEG 加速 ✅
|
||
**完成时间**: Day 19
|
||
**成果**:
|
||
- **零拷贝直传**: 非导航场景 CPU 开销降低 90%+
|
||
- **TurboJPEG**: 编解码速度提升 2-3 倍
|
||
- **JPEG 缓存**: 导航模式编码次数 8→2 次/秒
|
||
- **GPU 配置**: 正确使用 GPU 1 (CUDA_VISIBLE_DEVICES=1)
|
||
|
||
### Milestone 19: AI 管道修复与音频完整性 ✅
|
||
**完成时间**: Day 21-22
|
||
**成果**:
|
||
- **大模型升级**: 集成 GLM-4.6v-Flash (zai-sdk)，修复调用错误
|
||
- **语音识别优化**: SenseVoice 强制中文模式，修复 VAD 截断 (300ms 缓冲)
|
||
- **音频硬件修复**: 移除串口改用电池供电，彻底消除地环路底噪
|
||
- **流畅度确认**: 用户确认保留原生语速，AI 对话闭环打通
|
||
|
||
### Milestone 20: 移动端与部署优化 ✅
|
||
**完成时间**: Day 23
|
||
**成果**:
|
||
- **移动端适配**: 视频区域高度修复、IMU 浮窗折叠
|
||
- **PM2 部署**: 一行命令启动，VAD 本地缓存加速
|
||
- **红绿灯检测修复**: 跳帧机制消除卡顿
|
||
- **域名配置**: naviglass.hbyrkj.top 可访问
|
||
|
||
### Milestone 21: 室内导盲分割模型训练完成 ✅
|
||
**时间**: Day 24-25
|
||
**成果**:
|
||
- **问题修复**: YOLOE 不支持自定义训练，改用 yolo11l-seg.pt
|
||
- **数据集筛选**: MIT Indoor 2573→14 类别 (floor/door/stairs/person 等)
|
||
- **训练完成**: 150 epochs，27.6M 参数，4.8ms/张推理
|
||
|
||
### Milestone 22: 室内导盲服务器集成 ✅
|
||
**时间**: Day 26
|
||
**成果**:
|
||
- [x] **完整闭环**: 从语音唤醒 -> 模型加载 -> 推理引导 -> 语音播报全流程打通
|
||
|
||
### Milestone 23: 室内导盲模型优化与完备 ✅
|
||
**时间**: Day 27
|
||
**成果**:
|
||
- **大规模数据扩展**: 整合 22 类室内物体 (新增 tableware, washroom 等)
|
||
- **跨平台部署**: 修复 Windows/Linux 训练路径兼容性问题
|
||
- **稳定性修复**: 彻底解决 FP16 训练 NaN 问题 (AMP=False)
|
||
- **完整性验证**: 数据集健康检查 100% 通过
|
||
|
||
### Milestone 24: 室内导盲系统优化交付 ✅
|
||
**时间**: Day 28
|
||
**成果**:
|
||
- **高精度感知**: 切换 14 类模型，地面检测率/避障精准度显著提升
|
||
- **体验升级**: 修复无路提醒节流 Bug，消除音频 Pop 噪声，交互响应即时化
|
||
- **系统诊断**: 明确终端 WiFi 断连根因并给出自动化运维方案
|
||
|
||
---
|
||
|
||
|
||
|
||
## 📅 时间线
|
||
|
||
```
|
||
Day 1-2: SDK + 网络库 ✅ 完成
|
||
Day 3: I2S 音频输出 ✅ 完成
|
||
Day 4: 麦克风 + IMU ✅ 完成
|
||
Day 5: GC2083 摄像头 ✅ 完成
|
||
Day 6: 硬件验证与调试 ✅ 完成
|
||
Day 7: 工具链配置收敛 ✅ 完成
|
||
Day 8: 整体编译成功 ✅ 完成
|
||
Day 9: musl修复+板上测试 ✅ 完成
|
||
Day 10: 音频稳定性修复 ✅ 完成
|
||
Day 11: 网络稳定性优化 ✅ 完成
|
||
Day 12: 音频交互与系统加固 ✅ 完成
|
||
Day 13: TTS事件循环阻塞修复 ✅ 完成
|
||
Day 14: 项目清理+TTS优化 ✅ 完成
|
||
Day 15: 导航性能优化 ✅ 完成 (跳帧机制)
|
||
Day 16: 自启动配置 ✅ 完成 (load_script.conf)
|
||
Day 17: 室外测试+语音修复 ✅ 完成 (frpc UDP)
|
||
Day 18: 性能优化+紧急修复 ✅ 完成 (YOLO FP16)
|
||
Day 19: 传输优化 ✅ 完成 (TurboJPEG, 零拷贝直传)
|
||
Day 20: 深度性能优化 ✅ 完成 (日志精简, GPU并行, 槽位增加)
|
||
Day 21: 新AI管道开发 ✅ 完成 (初步集成)
|
||
Day 22: AI与音频修复 ✅ 完成 (GLM-4V, VAD缓冲, 语速确认)
|
||
Day 23: 移动端+部署优化 ✅ 完成 (PM2, 红绿灯跳帧)
|
||
Day 24: YOLOE模型训练 ✅ 完成 (问题诊断+数据集筛选)
|
||
Day 25: 室内导盲模型完成 ✅ 完成 (训练+验证通过)
|
||
Day 26: 室内导盲服务器集成 ✅ 完成 (IndoorNavigator工作流)
|
||
Day 27: 模型训练优化与完善 ✅ 完成 (NaN修复+22类适配+路径修复)
|
||
Day 28: 室内导航优化与修复 ✅ 完成 (14类模型+语音修复+音频Pop修复)
|