基于机器学习的智能数字孪生技术，用于制造业中的可解释决策制定

《INTERNATIONAL JOURNAL OF PRODUCTION ECONOMICS》：An intelligent Digital Twin based on machine learning for interpretable decision-making in manufacturing

　　数字孪生与AI图像校准框架用于工程结构精准评估，通过单张手动校准图像生成大规模合成数据集，训练分离的校准网络与反馈网络，结合高斯采样与迭代优化提升相机姿态估计精度，实现BIM模型与现场图像的自动对齐及结构损伤量化。

　　在现代基础设施管理中，准确评估结构的损伤状况是确保其长期安全性和功能性的关键环节。美国土木工程师协会（ASCE）发布的2025年基础设施报告卡指出，美国的基础设施整体评分为C，揭示了多个领域存在的持续衰退问题，强调了对基础设施进行持续监测和维护的必要性。据估计，未来十年内，恢复基础设施至良好状态需要约9.1万亿美元的投资，而目前的资金水平预计只能覆盖其中的5.4万亿美元，存在3.7万亿美元的缺口。为应对这一挑战，政府机构已制定定期检查计划，以不同类型的基础设施为对象。例如，联邦公路管理局（FHWA）要求每24个月对公路桥梁进行一次检查，联邦铁路管理局（FRA）则规定铁路桥梁需每年检查一次，美国陆军工程兵团（USACE）对导航结构的检查周期不超过五年，联邦能源监管委员会（FERC）则要求水电站大坝至少每五年由认证顾问进行一次检查。这些检查通常依赖于视觉评估，记录结构的退化情况，并据此判断其承载能力。然而，传统的检查方式成本高昂、人力密集，且常使工作人员暴露于危险环境中。因此，无人飞行器（UAV）搭载激光雷达（LiDAR）或摄像头等设备，成为一种有望实现自动化数据采集、降低成本并访问难以到达区域的解决方案。此外，基于增强现实（AR）的工具也被开发出来，以辅助高风险基础设施场景中的工作人员，提高检查效率。

尽管LiDAR等先进技术能够提供高质量的数据，但其高昂的成本、复杂的安装过程以及对后期数据处理的高要求，限制了其在广泛场景中的应用。相比之下，基于视觉的方法更具实用性和经济性，但其准确性依赖于精确的图像校准，以提取可用于损伤评估的物理测量值。传统校准技术通常需要明显的地标和准确的初始相机姿态估计，这在实际的现场条件下往往难以实现。近年来，一些基于人工智能（AI）的方法试图绕过这些限制，但它们的单步预测往往缺乏足够的精度，并且没有可靠的方式验证相机参数。本文提出了一种创新的框架，该框架利用基于图形的数字孪生（GBDT）和一张手动校准的现场图像，生成一个大规模且多样化的数据集，用于训练基于AI的图像校准模型。该框架包含两个主要组件：一个用于预测相机姿态的对齐网络（Alignment network）和一个用于评估姿态准确性的反馈网络（Feedback network）。在推理阶段，通过高斯采样生成多个姿态提案，这些提案围绕预测姿态进行扩展，随后由反馈网络评分，选择最合适的候选姿态。通过N步的迭代优化，系统会反复将代理GBDT模型投影到现场图像上，更新姿态并改善对齐效果。最终的姿态将根据反馈评分进行排序，使用户能够可视化并选择最准确的结果。在小型和大型结构上的验证表明，该框架实现了高精度的校准，为结构状态评估提供了可靠的应用基础。此外，所识别的参数还可用于相机定位和建筑信息建模（BIM）纹理生成。相关代码已发布在GitHub仓库中。

为实现这一目标，本文提出了一个名为“迭代神经对齐与反馈”（INAF）的算法框架。该框架的核心思想是利用AI技术实现自动化的图像校准，使2D图像能够准确地映射到3D数字孪生模型上。在实际应用中，这一过程对于评估结构损伤至关重要，因为它直接影响到从图像中提取的物理测量结果的准确性。传统的图像校准方法通常需要手动标注关键点，并依赖于初始姿态估计的精确性，这在复杂或动态的现场环境中可能面临诸多困难。而基于AI的校准方法则通过学习从图像中提取关键信息的能力，减少对人工标注的依赖，提高自动化水平。然而，这类方法在预测相机姿态时仍存在一定的局限性，尤其是在缺乏准确初始姿态估计的情况下，其结果可能不够稳定或精确。

INAF框架的创新之处在于其引入了两个独立的网络：对齐网络和反馈网络。对齐网络负责预测相机姿态，而反馈网络则用于评估这些姿态的准确性。在训练过程中，通过生成随机的相对姿态，并将代理GBDT模型重新投影到合成的现场图像上，对齐网络能够学习如何根据已知的真实姿态，预测出图像与模型之间的偏差。反馈网络则通过比较代理模型与实际结构在图像中的对齐效果，生成一个从0.0到1.0的评分，用以衡量校准质量。这种两阶段的训练方式完全依赖于自监督学习，无需人工标注的数据。在测试阶段，系统首先通过PnP算法（Perspective-n-Point）利用参考基线图像对查询图像的初始姿态进行估计。随后，对齐网络预测一个相对姿态，高斯采样生成M个姿态提案。这些提案将被反馈网络评分，以选择最有可能的候选姿态。接着，系统进行N步的迭代优化，每一步都将代理GBDT模型渲染到现场图像上，根据反馈网络的评分不断调整姿态，以提高对齐精度。最终，所有经过优化的姿态将根据反馈评分进行排序，用户可以选择最准确的前k个结果，用于结构损伤的评估。

INAF框架的优势在于其能够处理大规模和复杂的数据集，同时保持较高的校准精度。传统的图像校准方法往往受限于人工标注和初始姿态估计的精度，而INAF通过自监督学习和迭代优化，有效克服了这些限制。此外，该框架还利用了基于图形的数字孪生（GBDT）模型，这使得校准过程更加灵活和高效。GBDT模型可以作为结构的虚拟表示，与实际的现场图像进行比对，从而实现更精确的校准。这种结合不仅提高了校准的准确性，还增强了系统的鲁棒性，使其能够适应不同的结构类型和现场条件。

在实际应用中，INAF框架能够显著提升结构损伤评估的效率和准确性。通过将现场图像与GBDT模型进行精确对齐，用户可以直观地看到结构的当前状态，并据此判断是否存在潜在的损伤或退化。这一过程不仅减少了人工干预的需求，还降低了校准过程中可能出现的误差。此外，校准后的图像可以用于更新数字孪生模型的纹理，使其更贴近实际结构的外观，从而为后续的结构健康监测和维护提供更加可靠的数据支持。这种技术在桥梁、大坝等大型基础设施的检测中具有重要的应用价值，因为它能够帮助工程师在不接触实际结构的情况下，获取高精度的损伤信息。

尽管INAF框架在提高校准精度和自动化水平方面表现出色，但其仍然面临一些挑战。首先，生成大规模且多样化的训练数据集需要大量的计算资源和时间，尤其是在处理复杂结构时。其次，反馈网络的评分机制需要进一步优化，以确保能够准确评估不同姿态的对齐质量。此外，该框架在实际应用中还需要考虑现场环境的动态变化，例如光照条件、天气因素等，这些都可能影响图像校准的准确性。为了解决这些问题，研究团队正在探索更高效的生成方法，以及更鲁棒的评分机制，以提高系统的适应性和可靠性。

总的来说，INAF框架为基于视觉的结构损伤评估提供了一种新的解决方案。通过结合基于图形的数字孪生模型和AI技术，该框架能够在不依赖人工标注的情况下，实现高精度的图像校准。这一技术的进步不仅有助于提高基础设施管理的效率，还为未来的自动化检测和维护提供了重要的支持。随着技术的不断发展和完善，基于AI的图像校准方法有望在更多领域得到应用，从而推动基础设施管理向更加智能化和自动化的方向发展。