基于事件相机与Loihi 2神经形态芯片的驾驶员动作学习预测系统N-DriverMotion

《IEEE Open Journal of Vehicular Technology》：N-DriverMotion: Driver Motion Learning and Prediction Using an Event-Based Camera and Directly Trained Spiking Neural Networks on Loihi 2

　　本研究针对自动驾驶系统中驾驶员动作识别的实时性与能耗挑战，提出了一种基于事件相机与卷积脉冲神经网络(CSNN)的神经形态视觉系统。通过新构建的N-DriverMotion数据集（720×720分辨率）和直接训练的4层CSNN模型，在13类动作分类任务中达到94.04%准确率，异常动作检测准确率达97.24%。在Intel Loihi 2芯片上实现能效比非边缘GPU提升20,721倍，为车载边缘设备提供了低功耗、高实时性的解决方案。

　　

随着人工智能技术在汽车工业的深度融合，车载AI系统已成为提升自动驾驶安全性的核心要素。据统计，高达95%的交通事故源于人为操作失误，欧盟与美国已强制要求新车配备高级驾驶辅助系统(ADAS)，预计到2038年可挽救超过2.5万人的生命。然而，传统基于GPU的视觉系统存在高功耗、高延迟等瓶颈，难以满足复杂驾驶场景下的实时响应需求。

在这一背景下，神经形态计算技术仿生生物视觉系统，通过事件相机（又称神经形态相机）和神经形态处理器，实现了微秒级响应与毫瓦级功耗的突破性表现。但现有系统在面对高分辨率事件流处理时，仍存在模型复杂度过高、内存占用大、难以适配边缘设备等问题。为此，纽约州立大学韩国分校研究团队开发了N-DriverMotion系统，通过创新性的硬件-算法协同设计，为自动驾驶驾驶员监控提供了新的技术路径。

研究团队首先采用Prophesee Metavision EVK4事件相机采集了1,239组720×720分辨率驾驶员动作数据，构建了包含13类动作的N-DriverMotion数据集。这些动作涵盖头部前倾/侧倾、持手机、回头观察等危险驾驶行为，并在不同光照条件（明亮/适中/黑暗）和拍摄角度（正面/侧面）下采集。为提升模型泛化能力，额外创建了癫痫发作、碰撞冲击等5类异常动作数据用于鲁棒性测试。

技术方法核心包含三个创新点：一是采用基于替代梯度下降的反向传播算法SLAYER对脉冲神经网络进行端到端直接训练，避免了传统人工特征提取；二是设计四层卷积脉冲神经网络(CSNN)架构，通过3D脉冲卷积操作同步提取时空特征；三是开发了面向Intel Loihi 2神经形态芯片的模型压缩方案，将输入分辨率从720×720自适应降采样至40×40，并优化神经核分配策略。

模型架构优化

研究团队发现传统8层或16层SNN架构在高分辨率事件处理中易导致脉冲传递效率下降。新设计的CSNN包含脉冲池化层（8×8核）、卷积层（5×5核）和两个全连接层，首层池化设计显著降低了内存占用。采用电流基漏积分发放(CUBA LIF)神经元模型，通过电压阈值（1.25）和电流衰减（0.25）等参数优化，在保持模型轻量化的同时确保时空特征提取效率。

多模态动作识别性能

在13类动作分类任务中，CSNN模型以94.04%的准确率显著优于全连接SNN模型（85.11%）。混淆矩阵显示正常驾驶（标签3）与危险动作区分度达91.07%-94.04%。特别在暗光环境下，事件相机的120dB高动态范围优势使模型保持93.6%以上的识别稳定性。

异常动作检测鲁棒性

针对未训练过的异常动作，系统采用二分类策略（正常/异常）进行测试。结果显示模型对癫痫发作、碰撞冲击等5类突发状况的检测准确率达97.24%，且异常动作误判率为零，证明其具备优异的异常敏感度。

神经形态硬件能效优势

在Intel Loihi 2芯片部署中，系统能耗延迟积(EDP)较非边缘GPU（RTX 3080）提升20,721倍，较边缘GPU（Jetson Xavier NX）提升541倍。尽管吞吐量（40.835样本/秒）略低于RTX 3080（66.214样本/秒），但单样本推理能耗仅26.4μJ，凸显神经形态计算在边缘场景的能效优势。

本研究通过算法-硬件协同创新，证实了神经形态视觉系统在复杂驾驶场景下的实用价值。N-DriverMotion系统不仅解决了高分辨率事件流处理的能耗瓶颈，更通过直接训练机制避免了传统SNN的转换损失。未来工作将扩展数据集多样性，探索基于脉冲时序依赖可塑性(STDP)的在线学习机制，并优化多芯片协同推理架构，进一步推动神经形态计算在自动驾驶安全领域的落地应用。

该研究成果发表于《IEEE Open Journal of Vehicular Technology》，为车载边缘智能设备提供了兼顾性能与能效的技术范本，对实现全天候、低功耗的驾驶员状态监控系统具有重要指导意义。