MiKTr：基于多尺度知识融合Transformer的消费者欺诈检测模型

　　本文提出了一种创新的多尺度知识融合Transformer模型（MiKTr），通过结合预训练语言模型（PLMs）与领域知识融合模块，有效解决了消费者欺诈检测中领域知识理解不足和多尺度特征捕捉的难题。该模型采用多尺度注意力机制增强局部特征提取，在真实数据集上全面超越现有基线方法。

　　

亮点

• 1.
  多尺度注意力机制(Multiscale attention mechanism): 我们深入分析了卷积计算与自注意力（Self-Attention）的相互作用，创新性地提出了能够有效捕捉和整合多粒度语言特征的多尺度注意力网络。这一设计缓解了预训练语言模型（PLMs）中单尺度注意力的局限性，显著提升了下游任务的上下文理解能力。
• 2.
  领域知识融合(Domain-specific knowledge fusion): 我们专门针对消费者欺诈场景精心构建了外部知识库，并首创性地提出了领域知识融合模块。该模块通过结构化知识增强PLMs，有效解决了领域歧义问题，提高了欺诈检测的准确性。
• 3.
  真实世界数据集的实证验证(Empirical validation on real-world datasets): 我们将所提出的模型应用于自动化消费者欺诈检测任务中。在真实数据集上进行的大量实验表明，我们的方法在各项评估指标上均一致优于现有基线模型，为领域特定的自然语言处理（NLP）应用提供了实用价值和新见解。模型代码已开源：https://github.com/laishanyan/MiKTr

结论

本文介绍了MiKTr，一种将预训练语言模型（PLMs）与Transformer架构相结合的新颖的消费者欺诈检测方法。我们的方法设计了一个知识融合模块，旨在克服预训练语言模型在理解消费者欺诈相关领域知识方面的局限性。此外，我们还开发了一个多尺度注意力模块，通过从全局视角聚焦于多尺度的局部特征来增强特征表征能力。