文档重构

This commit is contained in:
Kevin Wong
2026-01-06 17:29:46 +08:00
parent 2ecfb39508
commit 13e261c2a8
5 changed files with 210 additions and 762 deletions

View File

@@ -2,21 +2,22 @@
**项目**NaviGlass项目开发
**平台**:全志 V821 (32-bit RISC-V)
**更新时间**2026-01-05
**整体进度**100%(室内导盲模型训练优化完成
**更新时间**2026-01-06
**整体进度**100%(室内导盲系统优化交付
## 📖 快速导航
| 章节 | 说明 |
|------|------|
| [已完成任务](#-已完成任务) | Day 1-27 完成的功能 |
| [待验证问题](#-待验证问题-day-20-优化后) | 当前需要验证的修复 |
| [已完成任务](#-已完成任务) | Day 1-28 完成的功能 |
| [后续规划](#-后续规划与遗留问题) | 待办 / 债务 / 未来展望 |
| [进度统计](#-进度统计) | 各模块完成度 |
| [时间线](#-时间线) | 开发时间线 |
| [里程碑](#-里程碑) | 关键节点回顾 |
| [时间线](#-时间线) | 开发流水账 |
**相关文档**
- [实现计划详情](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/implementation_plan_complete.md)
- [Day 日志](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/DevLogs/) (Day1-Day27)
- [Day 日志](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/DevLogs/) (Day1-Day28)
---
@@ -413,37 +414,39 @@
- [x] **跨平台路径修复**: 解决 Windows 生成 `data.yaml` 在 Linux 报错问题
- [x] **文档同步**: 更新《训练指南》至 V2 (22类 + 路径注意)
---
## ⏳ 待完成任务
### 性能评估
- [ ] CPU 使用率监控(目标: <80%
- [ ] 内存使用监控(目标: <100MB
- [x] 摄像头实际帧率: 客户端 10 FPS, 服务器处理 ~15 FPS
- [x] IMU 采样率: 10Hz
### 稳定性验证
- [ ] 长时间运行测试5分钟基础 / 1小时稳定性 / 内存泄漏检查)
- [ ] 异常恢复测试(断网重连 / 设备异常恢复)
- [ ] 压力测试(高负载 / 边界条件)
### 室内导航优化与 Bug 修复 (Day 28)
- [x] **模型精准化**
- [x] 切换至 `yolo11l-seg-indoor14.engine` (14类)
- [x] 更新 `workflow_indoor.py` 类别映射
- [x] 地面检测率提升,解决无路误报
- [x] **语音播报修复**
- [x] **强制首播**: 解决初始无路提示被节流的问题
- [x] **即时反馈**: 启动命令后立即播报“正在寻找可行走区域”
- [x] **音频 Pop 消除**: 增加静音填充至 200ms
- [x] **崩溃修复**: 移除 undefined class 引用
- [x] **终端 WiFi 诊断**
- [x] 确认断连不可恢复为 OS 层面问题
- [x] 建议部署 `wifi_check.sh` 守护脚本
---
## 🔮 未来优化方向
## 🛤️ 后续规划与遗留问题
### 性能优化
- [ ] 内存使用优化
- [ ] CPU 负载平衡
- [ ] 网络带宽管理
- [ ] 功耗优化
### 🔴 优先待办 (Priority)
- [ ] **稳定性验证**: 长时间运行测试5分钟基础 / 1小时稳定性 / 内存泄漏检查)
- [ ] **异常恢复**: 模拟断网重连、设备异常恢复等边界条件
- [ ] **WiFi 保活**: 部署终端脚本 `wifi_check.sh` 解决断网不重连问题
### 硬件升级探索
- [ ] 硬件 SPI 替代 GPIO 模拟提升IMU速度
- [ ] I2C 通信方案重新探索
### 🟠 技术债务 (Debt)
1. **音频底噪**: 需探索软件降噪 (AEC/ANS) 以消除回环底噪
2. **硬件屏蔽**: 扬声器电流声需硬件改进(磁环/布线)
3. **代码规范**: 补充单元测试,统一注释风格
### 🔵 长期探索 (Future)
- [ ] **硬件升级**: 尝试硬件 SPI 替代 GPIO 模拟(提升 IMU 采样率)
- [ ] **I2C 攻坚**: 重新探索 ICM-42688 的 I2C 通信模式
- [ ] **能效优化**: 内存占用优化与 CPU 负载平衡
---
## 📊 进度统计
@@ -474,7 +477,7 @@
| 导航模式 | 100% | ✅ Day 15 修复 |
| 服务器优化 | 100% | ✅ Day 18-19 完成 |
| AI 交互管道 | 100% | ✅ Day 21-22 修复 (GLM-4V/SenseVoice) |
| 室内导盲模型 | 100% | ✅ Day 25 训练完成 |
| 室内导盲模型 | 100% | ✅ Day 28 优化交付 (14类模型) |
---
@@ -595,41 +598,16 @@
- **稳定性修复**: 彻底解决 FP16 训练 NaN 问题 (AMP=False)
- **完整性验证**: 数据集健康检查 100% 通过
---
## 📝 技术债务
### 需要优化的地方
1. **GPIO 模拟性能**: 当前 SPI 速度 ~500kHz可优化到 1-2MHz
2. **错误处理**: 网络断开重连、设备异常恢复、日志完善
3. **代码规范**: 需要统一注释风格、需要单元测试
### 遗留问题
1. **音频底噪**: 开启 Playback Switch 可能引入回环底噪,需探索软件降噪 (AEC/ANS)
2. **扬声器杂音** (Day 17): 确认为硬件问题,需加磁环或重新布线
3. **I2C 问题**: ICM-42688 I2C 模式未解决,保留为技术探索方向
4. **硬件 SPI**: 未尝试使用硬件 SPI可作为性能优化方向
### Milestone 24: 室内导盲系统优化交付 ✅
**时间**: Day 28
**成果**:
- **高精度感知**: 切换 14 类模型,地面检测率/避障精准度显著提升
- **体验升级**: 修复无路提醒节流 Bug消除音频 Pop 噪声,交互响应即时化
- **系统诊断**: 明确终端 WiFi 断连根因并给出自动化运维方案
---
## 🛠️ 开发工具与资源
### 必备工具
- [x] WinSCP - 文件传输
- [x] PuTTY - SSH 终端
- [x] PhoenixSuit - 固件烧录
- [x] VS Code - 代码编辑
### 参考文档
- [x] [全志 V821 Datasheet](https://www.aw-ol.com)
- [x] [ICM-42688 Datasheet](https://invensense.tdk.com)
- [x] [MAX98357A Datasheet](https://www.maximintegrated.com)
- [x] [ALSA Documentation](https://www.alsa-project.org)
### 开发笔记
- [Day1.md](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/DevLogs/Day1.md) ~ [Day23.md](file:///d:/CodingProjects/Antigravity/NaviGlass/Docs/DevLogs/Day23.md)
---
## 📅 时间线
@@ -660,15 +638,4 @@ Day 24: YOLOE模型训练 ✅ 完成 (问题诊断+数据集筛选)
Day 25: 室内导盲模型完成 ✅ 完成 (训练+验证通过)
Day 26: 室内导盲服务器集成 ✅ 完成 (IndoorNavigator工作流)
Day 27: 模型训练优化与完善 ✅ 完成 (NaN修复+22类适配+路径修复)
```
---
**🎯 当前状态100% 完成!室内导盲系统已集成并可使用**
## ⚠️ 待验证问题
*(当前无遗留问题,所有已知 BUG 均已修复)*
Day 28: 室内导航优化与修复 ✅ 完成 (14类模型+语音修复+音频Pop修复)