MATRIX-HAR：一种轻量级的基于时间运动引导的特征网络，采用自适应时间分辨率的迁移学习方法，用于资源受限的环境下的事件相机人体动作识别

《Expert Systems with Applications》：MATRIX-HAR: Lightweight Temporal Motion-guided Feature Network with Adaptive Temporal Resolution Based Transfer Learning for Resource-Constrained Event Camera-based Human Action Recognition

　　事件相机在人体动作识别中具有高时空分辨率优势，但现有方法难以有效捕捉复杂动态。本文提出MATRIX-HAR框架，创新性地融合自适应时间分辨率（ATR）模块、运动引导特征模块（MGFM）和分层迁移学习策略，通过动态调整时空处理粒度、挖掘事件流内蕴运动信息、构建多级知识迁移机制，显著提升复杂环境下的识别性能。实验表明，该模型在四个基准数据集上取得SOTA结果，相比基线提升22.3%，并实现4倍量化压缩比。

　　

Muhammad Hamza Zafar|Syed Kumayl Raza Moosavi|Filippo Sanfilippo

挪威格里姆斯塔德阿格德大学工程科学系，4879

摘要

基于事件的相机因其高时间分辨率、低延迟以及对光照变化的强适应性，已成为传统传感器在人类行为识别领域的一个有前景的替代方案。然而，现有方法在捕捉事件流中固有的复杂时空动态方面存在困难，尤其是在具有挑战性的环境条件下。在本文中，我们提出了一种名为“轻量级时间运动引导特征网络与自适应时间分辨率迁移学习相结合的基于事件相机的行为识别系统（MATRIX-HAR）”，这是一种专为基于事件的人类行为识别设计的新型深度学习架构，它结合了三项关键创新：自适应时间分辨率（ATR）模块（根据输入特征动态调整时间处理粒度）、运动引导特征模块（MGFM）（利用事件流中编码的运动信息）以及一个全面的层次化迁移学习框架（实现从简单环境到复杂环境的有效知识迁移）。我们系统地评估了四种不同的迁移学习策略，从早期特征迁移到多层次迁移，证明了这些策略在将模型从简单场景适配到复杂现实世界条件方面的有效性。为了确保在资源受限的边缘设备上实际应用，我们实现了训练后的量化处理，既保持了性能又实现了4倍的压缩比。在四个基准数据集（HARDVS、PAF、THU-E-ACT-50和THU-E-ACT-50 CHL）上的广泛实验表明，MATRIX-HAR的性能处于领先水平，显著超越了现有方法：在HARDVS上提高了0.71%（达到97.82%），在PAF上提高了0.74%（达到97.23%），在THU-E-ACT-50上提高了3.03%（达到95.73%），在THU-E-ACT-50 CHL上提高了7.3%（达到65.8%）。消融研究证实了每个提出模块的独立贡献，而迁移学习分析显示，全面的特征迁移（策略4）提供了最稳健的适应性，相对于基线方法提升了22.3%的性能。所提出的框架展示了更优的学习动态，与从头开始训练相比，实现了更快的收敛速度和更高的稳定性，特别适合环境条件多变且计算资源有限的现实世界应用场景。

引言

人类行为识别（HAR）在包括监控、医疗监测、自主系统和人机交互在内的多个领域变得越来越重要。实时准确地识别人类行为使机器能够理解和适当地响应人类行为，从而在动态环境中实现更安全、更直观的交互。

传统的HAR系统主要依赖于基于视觉的传感器，特别是RGB相机，来监控和分析人类活动（Zhang等人，2024年）。尽管在受控环境中有效，但这些相机在光照变化大、运动速度快和易发生遮挡的环境中存在重大局限性（Regazzoni、De Vecchi和Rizzi，2014年）。它们的基于帧的处理方式还导致了时间上的稀疏性和数据冗余，使其不太适合需要精确、低延迟行为识别的应用。

神经形态事件相机作为一种强大的替代方案应运而生，以解决这些挑战。与传统相机不同，事件相机异步记录像素强度的变化，提供微秒级的时间分辨率和高动态范围（Gallego等人，2020年）。这些特性使它们非常适合在包括低光照和高速场景在内的多种环境条件下捕捉快速、细粒度的运动模式。

部分摘录

事件数据处理方法

事件相机代表了视觉传感技术的一个范式转变，但其独特的异步数据格式带来了显著的实现挑战。研究人员开发了多种方法来处理这种独特的输出格式。事件聚合技术是主要关注点，将异步信号转换为同步的视觉表示，如Ghosh等人（Ghosh、Gupta、Nakagawa、Soares和Thakor，2019年）和Innocenti等人（Innocenti，

数据集描述

在本研究中，使用4个基准数据集来评估所提出的MATRIX-HAR模型，但仅使用THU-E-ACT-50和THU-E-ACT-50 CHL进行迁移学习。

• 1.
  PAF（Miao等人，2019年）：该行为识别数据集包含使用DAVIS346神经形态视觉传感器捕获的事件记录，包括15名受试者执行的10种不同动作——交叉手臂、起身、踢腿、拾取、跳跃、坐下、投掷、转身、行走和挥手——

提出的ATR和MGFM模块

完整的MATRIX-HAR模型架构将运动引导特征调制（MGFM）和ATR模块集成在3D CNN框架中，以有效捕捉多个尺度上的空间和时间动态。

提出的模型：MATRIX-HAR

$X_{\text{输入}}\in R^{B\times T\times 3\times H\times W}$

结果与讨论

本节对所提出的MATRIX-HAR框架在四个基准数据集上的性能进行了全面评估，分析了各个模块、迁移学习策略和量化处理的影响。我们通过消融研究、最先进方法的比较以及学习动态的详细分析，验证了所提出的架构创新和迁移学习方法的有效性。

结论

在这项工作中，我们提出了MATRIX-HAR，这是一个用于基于事件的人类行为识别的综合框架，有效解决了在不同环境条件下进行时空特征提取和领域适应的挑战。我们提出的架构结合了三项关键创新：自适应时间分辨率（ATR）模块用于动态时间处理，运动引导特征模块（MGFM）用于增强运动感知特征提取，以及一个系统的

未引用的参考文献

缺少参考文献：图6、表1、算法1、算法2

作者致谢

Noman Mujeeb Khan • 构思 • 方法论 • 调查 • 形式分析 • 软件开发 • 原稿撰写 Qusay Shihab Hamad • 调查 • 数据整理 • 形式分析 • 验证 Filippo Sanfilippo（通讯作者）• 构思 • 监督 • 项目管理 • 资金获取 • 编写 - 审稿与编辑 • 资源收集 所有作者都参与了原始手稿的准备和审稿工作。

利益冲突声明

利益冲突声明：无

所有作者声明与上述提交内容不存在任何利益冲突。该提交的工作此前未发表过，也未被其他地方考虑发表。其发表已获得所有作者的批准，如果被接受，也不会以相同的形式或任何其他语言（包括电子形式）在未经版权所有者书面同意的情况下在其他地方发表。