《Gait & Posture》：Emotion Classification using Gait Biomechanics and Machine Learning
编辑推荐：
本研究通过3D步态生物力学结合机器学习，评估了识别愤怒、悲伤、喜悦、恐惧和中性情绪的可行性。15名健康受试者回忆 autobiographical memories 诱发情绪，提取155个步态变量，使用XGBoost模型在20个关键变量上达到59%准确率，悲伤识别最佳（66%）。结果为情绪识别和心理健康监测提供了新方法。
安杰洛·斯托特（Angeloh Stout）|贾斯汀·麦克尼尔·卡登黑德（Justin Macneal Cadenhead）|米里甘克·马哈拉纳（Mrigank Maharana）|阿什利·古兹曼（Ashley Guzman）|麦茜·考夫曼（Macie Kauffman）|凯瑟琳·G·布朗（Katherine G. Brown）|张书秀（Shuo-Hsiu Chang）|雷艳琪（Yen-Chi Le）|李杰西卡（Jessica Lee）|康圭恩（Gu Eon Kang）
德克萨斯大学达拉斯分校埃里克·琼森工程与计算机科学学院生物工程系，理查森，德克萨斯州
摘要
背景
新兴研究表明，情绪会改变人们的行走方式，这表明步态数据可能成为情绪识别的潜在来源。与传统的识别方式（如面部表情、语音）相比，基于步态的情绪检测可能具有优势，包括更不容易被人为操控。
研究问题
使用3D步态生物力学和机器学习来识别情绪状态是否可行？
方法
15名健康的年轻人参与了这项研究，他们在回忆自传体记忆的同时进行步态测试，以引发五种目标情绪：愤怒、悲伤、快乐、恐惧和中性。使用3D光电运动捕捉系统记录步态生物力学数据，并提取了155个生物力学变量进行分析。评估了五种机器学习算法：K-最近邻（K-Nearest Neighbors）、逻辑回归（Logistic Regression）、随机森林（Random Forest）、多层感知器（Multi-layer Perceptron）和极端梯度提升（XGBoost），并采用留一法交叉验证（Leave-One-Participant-Out）和合成少数样本过采样技术（Synthetic Minority Over-sampling Technique）来处理类别不平衡问题。
结果
机器学习模型对情绪状态（愤怒、悲伤、快乐、恐惧）的识别准确率高于随机水平（59% vs 25%）。使用决策树熵指数排名前20的生物力学变量时，XGBoost的表现最好（准确率为59%）。在这些情绪中，悲伤的识别准确率最高（66%）。
意义
我们的发现表明，3D步态分析与机器学习的结合为情绪识别提供了一种新的方法。这项研究可能为开发早期检测双相情感障碍等心理健康状况中情绪波动的工具提供基础证据。
引言
情绪会影响人们的行走方式。当人们感到愤怒时，行走速度会增加20%[1]；快乐的步态启动速度比悲伤快30毫米/秒[2]；与愤怒相比，悲伤的步态平滑度增加了20-40%[3][4]。最近的研究表明，可穿戴传感器可以在现实环境中检测行走中的情绪状态[5][6]。能够量化与情绪相关的行走变化意味着步态可能揭示情绪状态。
通过将机器学习（ML）与步态生物力学结合[7]，或许可以实现对情绪状态的分类。这一概念在面部和语音数据中已有较多研究，但在步态数据中的研究较少[8][9]。造成这种差异的原因尚不清楚，但步态具有优势。例如，佩戴口罩会显著降低从面部表情识别情绪的有效性[10]；语音分析可能会遇到数据分辨率相关的挑战[11]。此外，面部表情和语音容易受到人为操控[12][13]。对于有言语或面部障碍的人来说，基于步态的情绪识别可能特别有益[14][15][16][17][18][19][20]。
本研究的目的是评估基于步态生物力学分类情绪的可行性。我们探索了多种机器学习模型，以确定最有效的分类方法，并确定了最能预测情绪状态的步态生物力学变量组合。我们假设基于生物力学变量组合的机器学习模型在情绪分类方面的准确率会高于随机水平。我们预计悲伤的识别准确率会相对较高，因为它通常与较慢的步态速度和明显的姿势变化相关。同时，我们认为恐惧可能更难以分类，因为其行为反应具有多样性（例如静止或逃跑）。
实验程序
我们从德克萨斯大学达拉斯分校（UTD）的社区中招募了15名没有神经和骨科疾病史的年轻健康志愿者。所有参与者在开始实验前都签署了经UTD机构审查委员会批准的知情同意书。我们收集了包括年龄、性别、种族和民族在内的人口统计信息。目标情绪包括愤怒、悲伤、快乐、恐惧和中性情绪，这些情绪是通过自传体记忆任务引发的[1][2][3][4]。
跨组比较
我们从15名参与者（10名女性；平均年龄20.69±2.09岁；身高1.68±0.09米；体重64.22±8.39公斤；体质指数22.84±2.36公斤/米2）那里收集了数据。其中4名参与者为白人，8名为亚洲人，1名为混血人，2名为其他种族。11名参与者是非西班牙裔，1名为西班牙裔，3名为其他种族背景。我们生成了225次不同情绪状态下的步态测试数据，其中21次因情绪强度较低而被排除。
讨论
我们应用了多种机器学习方法对步态数据进行了情绪分类。结果支持了我们的假设，XGBoost模型的情绪分类准确率约为60%。在评估的155个生物力学变量中，我们测试了多个特征子集（5个、10个、15个、20个和25个），以确定有效的基于步态的情绪分类方法。这些结果强调了减少输入特征数量的价值，因为使用更小、更有针对性的特征子集可以提高分类效果。
作者贡献声明
雷艳琪（Yen-Chi Le）：撰写 – 审稿与编辑，形式化分析。
张书秀（Shuo-Hsiu Chang）：撰写 – 审稿与编辑，形式化分析。
康圭恩（Gu Eon Kang）：撰写 – 审稿与编辑，初稿撰写，监督，资源协调，项目管理，方法论设计，资金申请，形式化分析，数据管理，概念构思。
李杰西卡（Jessica Lee）：撰写 – 审稿与编辑，形式化分析。
阿什利·古兹曼（Ashley Guzman）：撰写 – 审稿与编辑，形式化分析，数据管理。
米里甘克·马哈拉纳（Mrigank Maharana）：撰写 –
关于写作过程中使用生成式AI和AI辅助技术的声明
在准备本工作时，作者使用了GPT-4来提升语言表达和可读性。原始文本均为作者本人撰写。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对出版物的内容负全责。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
我们感谢康纳·卡恩斯（Connor Carnes）、卡维亚·巴拉吉（Kavya Balaji）、拉哈·巴格赫里（Raha Bagheri）和里亚·希普卡尔（Riya Shipurkar）在数据收集方面的协助。同时，我们也感谢奥拜德·乌拉·艾哈迈德（Obaid Ullah Ahmad）在机器学习方面的宝贵见解和讨论。本研究部分由Shirley Ryan AbilityLab C-STAR合作导师计划（P2C HD101899）以及德克萨斯大学达拉斯分校生物工程系通过BE STARS（无具体资助编号）和BE研究员计划（无具体资助编号）提供资助。
