GraphTeacher：通过图神经网络对编码器进行迁移微调

《IEEE Transactions on Artificial Intelligence》：GraphTeacher: Transductive Fine-Tuning of Encoders through Graph Neural Networks

　　细调方法利用图神经网络整合未标注数据提升Transformer编码器在少标注场景下的适应性和推理能力，实验显示GLUE基准测试性能提升达10%。

　　

影响声明：

传统的编码器微调方法需要标注数据。然而，由于缺乏完整的实验室数据，许多行业在微调语言模型时面临困难...显示更多

摘要：

我们提出了GraphTeacher，该方法通过利用图神经网络（GNNs）来微调Transformer编码器，从而在无法获得完整标注的训练数据时有效地训练模型。当存在不同比例的标注训练数据时，我们研究了流行的Transformer模型，如DistilBERT、RoBERTa和BERT。所提出的方法利用语料库的底层图结构，使Transformer编码器能够在微调过程中融入GNNs。通过利用未标注数据中识别的潜在模式和相关性，我们的方法旨在提高模型对标注较少的数据场景的适应能力。此外，我们的方法在单实例推理方面表现出色，这是具有传递式（半监督）训练阶段的模型所不具备的能力。GraphTeacher不仅像传递式方法一样能够有效处理未标注数据，还为测试样本提供了归纳推理功能。在多种数据集和不同GNN架构上的实验表明，集成GNNs显著提升了Transformer编码器的鲁棒性和泛化能力，尤其是在标注稀疏的训练条件下。与基线方法相比，GraphTeacher在GLUE基准数据集上的性能提升了高达10%。