基于毫米波雷达的鲁棒骨骼图重建及其在人体活动识别中的应用研究

《IEEE Journal of Selected Areas in Sensors》：Robust Skeletal-Graph Reconstruction Using mmWave Radar and its Application for Human-Activity Recognition

　　本文推荐一项利用毫米波雷达实现鲁棒骨骼图重建的创新研究。针对传统Kinect传感器或相机依赖光照、存在视线遮挡的问题，研究人员提出一种改进的CNN+BiiLSTM深度学习模型，通过双视角点云累积数、时序差分和多普勒速度等新型特征输入，在人体位置和朝向不匹配场景下显著降低重建误差（MAE可达2.97cm）。该技术突破使毫米波雷达在黑暗、非视距环境下实现高精度骨骼重建成为可能，为智能医疗、安防监控等领域提供隐私保护的感知方案。

　　

在智能化时代，精准感知人体活动是实现人机交互、智能医疗和安防监控的核心技术。传统基于摄像头或Kinect传感器的骨骼图提取技术虽已成熟，却存在难以克服的局限性：依赖充足光照、无法穿透障碍物、易侵犯个人隐私。这些痛点严重制约了其在黑暗环境、复杂遮挡场景下的实际应用。毫米波雷达技术的出现带来了转机，它能够穿透衣物和非金属障碍物，在完全黑暗环境中实现非接触式感知，同时保护用户隐私。然而，从稀疏且含噪声的雷达点云中重建精确的骨骼图，仍面临巨大挑战。

为此，研究团队在《IEEE Journal of Selected Areas in Sensors》上发表了一项创新研究，提出了一种基于毫米波雷达的鲁棒骨骼图重建方法，并成功应用于人体活动识别。该研究通过设计新型特征提取方案和改进深度学习网络，显著提升了骨骼图重建的精度和鲁棒性。

关键技术方法主要包括：采用德州仪器IWR6843ISK-ODS毫米波雷达采集数据，构建包含三种场景（固定位置、不同位置、不同朝向）的数据集；提出双视角二维直方图、差分直方图和累积多普勒速度特征；改进CNN+BiLSTM网络结构，移除池化层、增加批归一化和双向LSTM层；利用图卷积网络(GCN)对重建的骨骼图进行活动识别，输入特征包含关节三维坐标和速度向量。

研究结果

骨骼图重建精度评估

通过平均绝对误差(MAE)指标系统评估重建精度。在固定位置数据集(Dataset One)上，本文方法的整体MAE为2.97cm，显著优于mmPose-NLP模型(4.46cm)和现有CNN+BiLSTM模型(4.52cm)。特别是在"开合跳"活动中，本文方法将MAE从现有最佳方法的7.17cm降至3.91cm，展现出对剧烈活动的优异重建能力。

位置和朝向变化下的鲁棒性

在包含位置变化的Dataset Two中，本文方法的整体MAE为4.63cm，仍低于对比方法。值得注意的是，在侧向位移70cm的场景下，本文方法仅使MAE增加至6.06cm，而对比方法则超过6.70cm。同样，在包含朝向变化的Dataset Three中，30度偏转场景下本文方法的MAE为6.00-7.95cm，显著低于对比方法的6.43-8.67cm，证明了其对测试场景与训练场景不匹配情况的强适应性。

实时性能与遮挡测试

模型效率测试表明，本文方法在37813帧点云上的平均测试时间为38.98毫秒/帧，模型大小为45.41MB，在精度与效率间取得了良好平衡。遮挡实验进一步验证了其应用价值：当Kinect V2因纸板箱遮挡而无法生成完整骨骼图时，本文方法仍能基于毫米波雷达点云完整重建骨骼结构。

人体活动识别性能

将重建的骨骼图输入GCN分类器进行活动识别。在固定位置数据集上，本文方法重建的骨骼图实现了99.14%的平均识别准确率，远超对比方法的87.91%和93.88%。在位置和朝向变化场景下，本文方法同样保持最高识别准确率（分别达95%以上和85%以上），证明了重建骨骼图的质量和泛化能力。

模型对比分析

与LSTM、MLP、RNN、ResNet和Transformer等深度学习模型对比表明，GCN在骨骼图活动识别任务中表现最优，在公开UTKinect数据集上达到92.33%的准确率，印证了其捕捉骨骼拓扑结构优势。

本研究成功开发了一种基于毫米波雷达的鲁棒骨骼图重建方法，通过创新特征设计和网络改进，解决了传统视觉方法在黑暗、遮挡环境下的应用局限。实验证明，该方法在位置和朝向变化场景下均保持高精度重建能力，且重建的骨骼图在活动识别任务中表现优异。这一技术为智能医疗、人机交互等领域提供了不受光照限制、保护隐私的感知解决方案，推动了毫米波雷达在人体感知应用中的实用化进程。未来工作可探索多雷达融合、跨场景自适应学习等方向，进一步提升系统性能和应用范围。