自适应特征融合与增强网络在食品营养估算中的应用

《IEEE Transactions on AgriFood Electronics》：Adaptive Feature Fusion and Enhancement Network for Food Nutrition Estimation

　　自适应特征融合增强方法通过Swin Transformer和语义增强模块实现多模态营养评估，在Nutrition5k数据集上使蛋白质、碳水化合物和热量预测的PMAE分别降低1.6%、1.4%和0.6%。

　　

摘要：

营养估算是促进食品分析和质量提升的重要环节。近年来，随着深度学习和计算机视觉技术的发展，出现了一些基于视觉的营养评估方法。与传统物理和化学方法相比，这些方法能够在不损坏食品的情况下快速预测其中的营养成分信息。然而，尽管这些方法在评估性能上具有很大潜力，但仍存在一些需要进一步解决的问题：首先是如何有效获取被评估食品的全面特征信息；其次是如何充分利用不同尺度的特征并有效地进行融合。为了解决这些问题，我们提出了一种自适应特征融合与增强方法，称为ADFE。具体而言，ADFE采用swin-transformer作为核心网络，通过窗口自注意力和移位窗口自注意力机制获得更有效的特征。此外，我们设计了一个自适应融合多模态特征模块，能够很好地处理RGB信息与深度信息之间的关系。最后，我们提出了一个语义信息增强模块，以提升特征提取效果并有效融合多尺度特征。我们在基准数据集Nutrition5k上进行了全面实验，与现有最先进方法相比，我们方法的平均百分比平均绝对误差（PMAE）为17.8%。其中，热量、碳水化合物和蛋白质的PMAE分别为14.4%、21.0%和19.4%，分别提高了0.6%、1.4%和1.6%。代码和模型可在线获取：https://github.com/123clown/ADFE。

引言

在过去十年中，多项研究[1]、[2]、[3]、[4]、[5]探讨了饮食模式与疾病之间的关系。例如，GBD 2017饮食协作组的研究[1]发现不良饮食是全球死亡的首要风险因素；住院患者自动系统[2]表明，中年人的饮食模式与抑郁症状之间存在关联。上述研究表明，不良的饮食模式可能导致身体和心理疾病的发生，这凸显了需要有效方法来促进更健康的饮食行为。营养估算是通过物理化学方法或深度学习方法准确预测食品中的营养成分（如热量、脂肪和蛋白质）来满足这一需求的。因此，准确评估不同食品的营养成分对于改善不良饮食模式和指导人们做出科学的食物选择具有重要意义。此外，准确的食品营养评估可以加速食品成分分析和精准营养学的发展[6]。鉴于此，食品营养评估在许多研究领域（如食品化学[7]、人工智能[8]、[9]、[10]以及健康管理[11]、[12]）受到了广泛关注。