
-
生物通官微
陪你抓住生命科技
跳动的脉搏
MambaGait:融合显式空间表征场与双向时序窗口切换的步态识别新范式
【字体: 大 中 小 】 时间:2025年06月10日 来源:Image and Vision Computing 4.2
编辑推荐:
针对二值轮廓序列稀疏性导致步态特征提取困难的问题,华中科技大学团队提出MambaGait框架,创新性结合显式空间表征场(ESF)和时序窗口切换曼巴模块(TWSM),在GREW等4个数据集实现SOTA性能,为远距离生物识别提供新思路。
步态作为"行走的身份证",因其非接触、非配合的特点在安防监控和医疗康复领域极具潜力。然而现有方法面临两大瓶颈:传统CNN/Transformer难以捕捉步态序列的长期依赖,而二值轮廓图像中95%的像素区域时空信息稀疏(仅边界区域存在细微变化),导致特征提取效率低下。这种"信息荒漠化"现象严重制约识别精度,正如论文中图1所示,静态背景区域对步态运动完全不敏感。
华中科技大学Haijun Xiong团队在《Image and Vision Computing》发表的研究中,创造性融合计算机图形学中的显式表征思想与曼巴(State Space Model)的隐式建模优势,提出MambaGait框架。该工作通过构建显式空间表征场(Explicit Spatial Representation Field, ESF)将二值轮廓转化为带方向的距离场,使每个像素都携带空间位置敏感信息;同时设计时序窗口切换曼巴块(Temporal Window Switch Mamba Block, TWSM),通过双向窗口通信机制实现局部细节与全局依赖的协同捕捉。在GREW、Gait3D等4个挑战性数据集上的实验表明,该方法将Rank-1准确率最高提升12.7%,首次证实曼巴模型在细粒度生物识别任务中的巨大潜力。
关键技术包括:1) ESF构建:基于欧氏距离场计算每个轮廓像素的定向距离,形成H×W×3的张量表示;2) TWSM模块:通过前向/后向窗口切换策略建立跨窗口连接,采用零阶保持(ZOH)方法离散化状态方程;3) 实验设计:在GREW(128万序列)、Gait3D(4K身份)等数据集评估,使用CMC和mAP指标。
【研究结果】
显式空间表征场设计
ESF通过计算像素到轮廓边界的有向距离,将传统二值图转换为包含空间梯度信息的连续场。如图3所示,该方法使躯干等静态区域获得运动敏感性,实验显示ESF使脚踝关节区域的时空特征熵提升3.2倍。
时序窗口切换机制
TWSM采用双向处理流:前向窗口捕获步态相位连续性,后向窗口建模步态周期逆向依赖。如表4所示,该设计使跨步态周期建模效率提升47%,局部关节运动误差降低21%。
多基准测试结果
在GREW数据集上达到86.7% Rank-1准确率,较SOTA提升8.3%;特别在SUSTech1K跨视角场景下,mINP指标提升12.1%,证实对视角变化的鲁棒性。
【结论与意义】
该研究突破传统步态识别对边界特征的过度依赖,通过ESF实现"全像素参与"的特征表达,其定向距离场设计灵感源自场景渲染中的SDF(Signed Distance Field)技术。TWSM模块的创新在于将曼巴的选择性记忆机制与局部感知野动态结合,如图5所示,这种"宏观-微观"双重视角建模使步态周期识别错误率降低34%。论文开辟了显隐式特征融合的新范式,其ESF描述子可扩展至其他稀疏序列分析任务,而硬件友好的曼巴架构为实时监控系统提供可能。研究获得国家自然科学基金(62376102)支持,代码已在GitHub开源。
生物通微信公众号
知名企业招聘