迈向身份无关的面部动作单元检测：将解耦的3D几何结构与纹理特征相结合

《IEEE Transactions on Affective Computing》：Towards Identity-Independent Facial Action Unit Detection: Integrating Decoupled 3D Geometry with Textural Features

　　面部动作单元检测中个体差异导致的方法性能下降，本研究提出基于3D形态模型的几何解耦方法，通过纹理学习、几何解耦和特征融合模块分离身份与表情特征，在DISFA和BP4D数据集上取得最佳F1分数，并验证了方法的泛化能力。

　　

摘要：

面部动作单元（Face Action Units, AU）检测面临的一个挑战是不同个体之间面部特征的差异性。这种差异性导致现有AU检测方法在处理未见过的面部身份时表现不佳。主要原因在于，这些方法获取的AU表示与训练数据中的面部身份紧密相关。因此，检测模型倾向于学习与特定身份相关的特征，而这些特征并非仅与AU有关。为了解决这一耦合问题，我们提出了一种受3D可变形模型（3D Morphable Model）启发的面部几何解耦方法。我们的方法包括一个纹理学习（Texture Learning, TL）模块，用于提取与AU相关的纹理特征；一个几何学习（Geometry Learning, GL）模块，通过解耦损失来获取与身份无关的几何特征；以及一个特征融合（Feature Fusion, FF）模块。FF模块用于捕捉2D纹理特征与3D几何特征之间的相互关系，随后通过图神经网络进一步学习AU之间的关系。我们在DISFA和BP4D数据集上对模型进行了评估，取得了先进的F1分数。此外，与那些不显式学习与身份无关特征的现有方法相比，我们的方法在包含较少面部身份的DISFA数据集上仍然保持了有效性，表明我们的方法能够学习出更具泛化能力的AU检测特征。