利用经过维度转换的可见光-近红外（Vis-NIR）透射光谱，并结合可解释的深度-浅层模型，检测出果芯发霉的次健康苹果

《Food Control》：Detection of sub-healthy apples with moldy core using dimension converted Vis-NIR transmission spectra combined with explainable deep-shallow model

　　亚健康苹果检测中，本研究开发了可见近红外（Vis-NIR）光谱系统，通过全传输、漫反射及组合传输模式获取光谱数据，并采用五维转换法（Gramian Angular Sum Field等）将一维光谱转换为二维图像。利用视觉Transformer（ViT）提取深度特征，结合k近邻（kNN）分类器构建深度-浅层混合模型，在768维深度特征中筛选出84个关键特征（其中45个正向、39个负向、5个主成分），模型准确率达81.33%，并通过Shapley值和帕累托原则分析验证特征贡献，有效解决了传统方法对早期内部病害误判的问题。

　　这项研究聚焦于苹果内部病害的早期检测，特别是针对那些霉变仅局限于种子腔的“次健康”果实。这类果实虽然仍保持可食用性，但存在进一步感染的风险，因此在储存和销售过程中需要及时识别，以便采取相应的控制措施。传统的检测方法在识别这类果实方面存在局限性，而本文提出了一种基于可见近红外（Vis-NIR）光谱技术和深度学习的新型检测方法，通过比较不同光谱采集模式下的数据，提取具有高判别能力的特征，并构建了深度-浅层混合分类模型，以提高检测的准确性。

研究团队开发了一套先进的Vis-NIR光谱检测系统，能够同时获取全透射、漫透射以及全透射与漫透射结合的光谱数据。这些光谱数据经过五维转换方法处理，生成可视化的图像，再通过视觉变换器（ViT）网络提取深层特征。随后，研究者选择了具有更好聚类能力的特征，构建了深度-浅层分类模型。模型的性能通过Shapley加法解释和帕累托原则进行解释，以明确各个特征对分类结果的贡献。研究结果显示，基于768个从强度光谱中转换而来的Gramian角和和场（GASF）特征，构建的ViT-kNN模型在整体准确率、F1分数、Kappa系数和马修斯相关系数方面分别达到了81.33%、81.33%、72.18%和73.17%。这表明该模型在识别次健康果实方面具有较高的可靠性。

研究者进一步分析了特征的贡献情况。结果显示，84个具有显著影响力的特征在模型中起到了与768个特征同等重要的作用，而45个正向特征则确保了模型的高分类性能。39个负向特征虽然会降低分类性能，但有助于维持模型的泛化能力。此外，5个主要特征在识别健康果实和次健康果实方面表现出卓越的能力，尤其是在检测霉变果实时，这些特征能够提供更高的准确率。这些发现不仅揭示了模型内部特征的重要性，也为后续的模型优化提供了方向。

在当前的苹果病害检测研究中，次健康果实的识别尚未引起广泛关注，而大多数研究集中在识别轻微或早期霉变的果实。通常，研究者通过设定一个霉变程度的阈值（如S ≤ 6.5%、S ≤ 7%或S ≤ 10%）来区分健康与病害果实。然而，这些阈值虽然数值较小，却无法保证霉变仅局限于种子腔。因此，依赖于这些数值的检测方法在实际应用中可能存在误判，无法准确识别次健康果实。为了克服这一问题，研究者提出了一种新的光谱采集与分析方法，通过提高光谱采集的精度，获取更多关于果实内部的信息，从而提高次健康果实的识别能力。

在光谱采集模式的选择上，研究者比较了全透射、漫透射以及全透射与漫透射结合的三种方式。全透射模式能够获取更多的与果实核心相关的光谱信息，而漫透射模式则适用于检测果实表面或外部的病害。通过将这些模式下的光谱数据转换为二维图像，研究者能够更全面地挖掘光谱数据中隐藏的信息。例如，将强度光谱转换为Gramian角和和场（GASF）图像，不仅扩展了光谱数据的维度，还突破了传统方法在空间维度上的限制。这种转换方法使得深度学习模型能够更有效地提取特征，从而提高分类的准确性。

在模型构建方面，研究者采用了一种深度-浅层混合结构，即使用视觉变换器（ViT）网络作为特征提取器，再结合k近邻（kNN）算法作为分类器。这种混合结构在多个领域中已经被证明具有较高的识别能力。例如，在齿轮箱故障检测中，使用CNN和kNN构建的混合模型将识别准确率提高了7.3%；在中药材分类中，ViT与支持向量机（SVM）结合的模型达到了96.76%的准确率；在作物叶片病害识别中，CNN-SVM模型的准确率甚至高达99.09%，远超传统的迁移学习模型。这些成功案例表明，深度-浅层混合模型在提升分类性能方面具有巨大潜力。

本文的研究目标是通过三种不同的光谱采集模式，获取苹果的全透射、漫透射以及结合模式下的光谱数据，然后利用视觉变换器（ViT）网络提取深层特征，并构建深度-浅层混合分类模型，以实现对次健康果实的准确识别。研究者还对模型的特征贡献进行了详细分析，揭示了哪些特征在识别过程中起到了关键作用，以及这些特征如何影响最终的分类结果。通过这一方法，不仅可以提高次健康果实的识别能力，还能为后续的果实分类和病害检测提供更加可靠的技术支持。

在实验过程中，研究者选取了“富士”苹果样本，这些样本来自新疆阿克苏的一个高霉变核心发病率果园。果园位于80.59°E，41.08°N，具有典型的苹果种植环境。果园经验丰富的农户根据其专业知识，筛选出健康和疑似霉变核心的样本。随后，这些样本通过冷链运输至实验室，并从中挑选出无外部缺陷的苹果。为了确保实验的准确性，所有样本在实验前均经过清洗，并在室内（25±1）°C的环境下存放24小时，以使光谱数据达到稳定状态。

在光谱采集过程中，研究者对三种模式下的光谱强度和透射率进行了比较。分析显示，光谱值在550 nm以下接近于零，因此研究者选择在550-850 nm范围内进行光谱数据采集。全透射模式下的光谱强度最高，而漫透射模式下的光谱强度最低。这表明不同采集模式对光谱数据的获取方式存在显著差异，进而影响后续的特征提取和分类性能。通过将这些光谱数据转换为二维图像，研究者能够更全面地挖掘其潜在信息，并提高模型的识别能力。

此外，研究者还探讨了不同光谱采集模式对特征提取的影响。例如，全透射模式能够提供更丰富的与果实核心相关的光谱信息，而漫透射模式则更适用于检测果实表面的病害。通过比较这些模式下的光谱数据，研究者能够更准确地识别哪些特征对分类结果具有更大的贡献。同时，研究者还对模型的泛化能力进行了评估，发现虽然部分特征会降低分类性能，但它们仍然有助于维持模型的稳定性。这一发现为后续的模型优化提供了重要的参考依据。

在模型构建过程中，研究者采用了多种维度转换方法，包括Gramian角和和场（GASF）、Gramian角和差场（GADF）、马尔可夫转移场（MTF）、递归图（RP）和对称点模式（SDP）。这些方法能够将一维的光谱数据扩展为二维图像，从而突破传统方法在空间维度上的限制。例如，GASF方法能够捕捉光谱数据中的周期性特征，而MTF方法则能够反映光谱数据中的动态变化。通过将这些方法应用于苹果的Vis-NIR光谱分析，研究者能够更全面地挖掘数据中的潜在信息，并提高模型的识别能力。

在实际应用中，Vis-NIR光谱技术已被广泛用于苹果的病害检测。例如，Zhang等人（2022b）使用SDP方法将近红外光谱转换为图像，用于检测甲烷气体，而Jiang等人（2023）则利用GASF方法将花生的近红外光谱转换为图像，用于识别霉变。这些研究均表明，维度转换方法能够显著提升光谱数据的分析能力，并为后续的深度学习模型提供更丰富的输入特征。因此，将这些方法应用于苹果的Vis-NIR光谱分析，有望提高次健康果实的识别能力。

研究者还发现，传统的深度学习模型在处理光谱数据时存在一定的局限性。例如，基于softmax分类器的模型对输入值的绝对大小较为敏感，如果输入值过大或过小，可能会导致模型输出集中在某一类别，从而降低分类的准确性。为了解决这一问题，研究者采用了一种混合结构，即使用ViT网络作为特征提取器，再结合kNN算法作为分类器。这种结构不仅能够有效提取深层特征，还能避免softmax分类器的局限性，从而提高模型的整体性能。

在模型训练和测试过程中，研究者对不同特征的贡献进行了详细分析。通过Shapley加法解释方法，研究者能够明确每个特征对分类结果的影响。例如，84个具有显著影响力的特征在模型中起到了与768个特征同等重要的作用，而45个正向特征则确保了模型的高分类性能。39个负向特征虽然会降低分类性能，但有助于维持模型的泛化能力。此外，5个主要特征在识别健康果实和次健康果实方面表现出卓越的能力，尤其是在检测霉变果实时，这些特征能够提供更高的准确率。

为了验证模型的有效性，研究者对三种不同的光谱采集模式进行了比较。结果显示，全透射模式下的光谱数据能够提供更多的与果实核心相关的特征，而漫透射模式下的数据则更适用于检测果实表面的病害。通过将这些模式下的光谱数据转换为二维图像，研究者能够更全面地挖掘数据中的潜在信息，并提高模型的识别能力。此外，研究者还发现，结合全透射和漫透射的模式能够提供更丰富的特征，从而进一步提高模型的性能。

在实际应用中，次健康果实的检测对于苹果的储存和销售具有重要意义。如果这些果实未被及时识别，它们将在储存过程中进一步腐烂，传播感染到健康果实，导致严重的经济损失。因此，提高次健康果实的检测能力，对于保障苹果的质量和减少经济损失具有重要的现实意义。本文提出的方法不仅能够提高检测的准确性，还能为后续的果实分类和病害检测提供更加可靠的技术支持。

此外，研究者还对模型的泛化能力进行了评估。结果显示，虽然部分特征会降低分类性能，但它们仍然有助于维持模型的稳定性。这一发现表明，模型在实际应用中能够适应不同的果实样本，并在不同的环境条件下保持较高的识别能力。同时，研究者还发现，模型的识别能力与特征的选取密切相关，合理的特征选取能够显著提高模型的性能。

综上所述，本文提出了一种基于Vis-NIR光谱技术和深度学习的新型检测方法，通过比较不同光谱采集模式下的数据，提取具有高判别能力的特征，并构建深度-浅层混合分类模型，以提高次健康果实的识别能力。该方法不仅能够有效解决传统检测方法在识别次健康果实方面的局限性，还能为后续的果实分类和病害检测提供更加可靠的技术支持。研究者还对模型的特征贡献进行了详细分析，揭示了哪些特征在识别过程中起到了关键作用，以及这些特征如何影响最终的分类结果。这些发现不仅具有重要的理论价值，也为实际应用提供了重要的指导意义。