基于门控循环单元和注意力机制的图卷积时空融合模型在惯性信号人体活动识别中的应用

《Biomedical Signal Processing and Control》：Application of graph convolutional spatial temporal fusion model based on gated recurrent unit and attention mechanism in inertial signal human activity recognition

　　人类活动识别系统基于可穿戴传感器的研究中，提出一种融合图卷积网络、门控循环单元和注意力机制的混合深度学习模型（GGN-AM），在DaLiAc数据集上实现97.8%的准确率，优于CNN、GNN等单一模型及现有state-of-the-art方法。该模型通过图卷积处理传感器非欧氏空间关系、GRU提取时序特征、注意力机制动态加权特征，解决了传统方法手工特征提取效率低、领域知识受限、泛化能力差等问题。

　　人类活动识别（HAR）系统在医疗康复训练、游戏娱乐、体育分析等多个领域中发挥着重要作用。随着可穿戴设备的普及，基于传感器的HAR技术成为研究热点。在这些技术中，可穿戴传感器因其便携性和隐私保护的优势，逐渐取代了传统固定位置传感器，成为主流选择。本文提出了一种新型的混合深度学习模型，该模型结合了图卷积网络（GCN）、门控循环单元（GRU）和注意力机制（AM），以提高基于可穿戴传感器的人类活动识别的准确性和鲁棒性。

在传统方法中，基于固定位置传感器的HAR技术虽然在识别精度方面表现优异，但由于其安装位置固定，难以适应各种复杂场景，特别是在涉及隐私保护的场合。此外，这些方法对环境中的遮挡、光照变化和背景变化较为敏感，导致其实际应用受到限制。而基于可穿戴传感器的方法则克服了这些缺点，能够灵活地部署在人体不同部位，如手腕、脚踝、髋部和胸部等，从而采集更加全面和真实的人类活动数据。其中，IMU（惯性测量单元）作为一种重要的可穿戴传感器，能够通过内部的加速度计和陀螺仪测量加速度和角速度，广泛应用于智能手机、智能手表、运动追踪器和智能服装等设备中。

在机器学习（ML）方法中，虽然一些算法在HAR任务中取得了较高的识别精度，如K-近邻（K-NN）、隐马尔可夫模型（HMM）、条件随机场（CRF）和决策树（DT）等，但这些方法存在一些共同的局限性。首先，研究人员需要花费大量时间手动提取复杂特征，并从中选择具有高度信息量的特征子集用于分类模型，这使得建立ML分类模型的过程效率低下。其次，受限于专业领域的知识，研究人员难以通过手动特征提取进一步区分复杂的活动，从而限制了模型的识别精度提升。第三，训练数据量较小的模型会导致其泛化能力和鲁棒性不足，难以适应真实场景中的各种变化。

为了弥补上述方法的不足，本文首次提出了一种基于图卷积网络（GCN）、门控循环单元（GRU）和注意力机制（AM）的新型混合深度学习模型，命名为GGN-AM。该模型利用GCN来全面提取具有非欧几里得空间关系的惯性信号的空间特征，GRU用于高效提取时间特征，而AM则用于对提取出的空间和时间特征进行变量权重计算。通过这种融合方式，GGN-AM模型能够显著提高基于IMU的HAR系统的识别准确性和泛化能力。

在模型设计方面，本文首先构建了一个基于卷积神经网络（CNN）的GCN模型，用于对六轴传感器信号的图数据进行图卷积处理。这种处理方式能够有效捕捉六轴传感器信号中不同轴之间的空间关系，从而提高特征提取的准确性。接着，为了进一步提取时间特征并进行变量权重计算，本文将GRU和AM引入到GCN模型中，构建了一个新的混合深度学习模型GGN-AM。通过这种方式，模型不仅能够提取六轴传感器信号中的空间和时间特征，还能够根据特征的重要性进行动态调整，从而提高识别效果。

在数据处理方面，本文使用了来自德国弗里德里希-亚历山大大学的DaLiAc数据集，该数据集由四台六轴SHIMMER传感器节点采集而成。这些传感器节点分别安装在受试者的左脚踝、胸部、右髋和右手腕上，能够实时记录人体在不同活动状态下的运动数据。每个SHIMMER传感器节点包含三个加速度轴和三个陀螺仪轴，能够提供丰富的三维运动信息。这些数据被用于训练和测试所提出的GGN-AM模型，以及比较其他模型如CNN模型和GCN模型的性能。

在实验环境方面，本文使用了一台配备Core i9 10900K处理器、32GB内存和GeForce RTX 3080-Ti显卡的计算机，所有深度学习模型均在Tensorflow 2.4.0框架下进行训练和测试。实验结果表明，所提出的GGN-AM模型在DaLiAc数据集上的识别准确率为97.8%，平均召回率为97.3%，显著高于传统的CNN模型和GCN模型，同时也超过了其他一些最先进的HAR模型。这一结果表明，GGN-AM模型在识别精度和鲁棒性方面具有明显优势，能够更好地适应实际应用场景中的复杂情况。

在模型的构建过程中，本文特别关注了如何有效结合空间和时间特征。GCN模块用于提取六轴传感器信号中的空间特征，而GRU模块则用于提取时间特征。通过将这些模块进行整合，GGN-AM模型能够在不同时间点和空间位置上对人类活动进行更加全面的分析。此外，注意力机制的应用使得模型能够根据特征的重要性进行动态调整，从而提高识别效果。这种融合方式不仅提升了模型的性能，还使得模型在处理复杂活动时更加高效。

在模型的创新点方面，本文提出了以下几点：首先，为了全面提取六轴传感器信号中的空间特征，本文构建了一个基于CNN的GCN模型，对六轴传感器信号的图数据进行图卷积处理，从而提高特征提取的准确性。其次，为了提取时间特征并进行变量权重计算，本文将GRU和AM引入到GCN模型中，构建了一个新的混合深度学习模型GGN-AM。第三，本文使用了由相关矩阵通过拉普拉斯归一化计算得到的邻接矩阵作为图卷积的计算单元，这能够全面表达六轴传感器信号中各轴之间的非欧几里得空间关系，从而提高模型对六轴传感器信号的特征表示能力。第四，所提出的GGN-AM模型能够克服手动提取特征和CNN提取特征在特征区分方面的不足，提高模型的识别精度和泛化能力，使其更加适合基于六轴传感器信号的HAR任务。

在模型的应用前景方面，本文提出的GGN-AM模型不仅能够提高基于可穿戴传感器的人类活动识别的准确性和鲁棒性，还能够为医疗康复训练、游戏娱乐、体育分析等提供更加智能化的解决方案。通过这种融合深度学习方法，模型能够在不同的环境和场景中进行高效识别，从而更好地满足实际应用的需求。此外，该模型还能够为未来的HAR研究提供新的思路和方法，推动相关技术的发展和应用。

在研究的结构安排上，本文分为几个主要部分。第一部分介绍了研究的数据来源、数据预处理方法、构建的GCN模型和CNN模型，以及深度学习模型的结构和构建过程，同时讨论了模型的性能评估指标。第二部分详细阐述了实验的运行环境，包括实验设备、软件平台和数据集的使用情况。第三部分分析了所提出的GGN-AM模型的内部结构，包括模型参数配置和实验结果。最后，本文总结了研究的成果，并展望了未来的研究方向。

通过上述研究，本文提出的GGN-AM模型在基于可穿戴传感器的人类活动识别中表现出色，具有较高的识别准确率和良好的鲁棒性。该模型的提出不仅弥补了传统方法的不足，还为未来的HAR研究提供了新的思路和方法。同时，该模型的应用前景也十分广阔，能够为医疗康复、游戏娱乐、体育分析等领域提供更加智能化的解决方案。随着深度学习技术的不断发展，GGN-AM模型有望成为基于可穿戴传感器的人类活动识别的重要工具，推动相关技术的进步和应用。