DiffMLP：一种基于扩散算法的知识图谱中多跳链接预测框架

《Neural Networks》：DiffMLP: A Diffusion-based Multi-hop Link Prediction Framework in Knowledge Graphs

　　多跳链接预测在知识图谱中面临复杂推理路径建模和不确定性处理难题，现有方法难以有效捕捉推理上下文与邻域空间的交互依赖。本文提出DiffMLP框架，通过反向扩散过程建模每一步推理的行动空间，利用图注意力机制引导的噪声去除器逐步优化行动嵌入，并引入归一化噪声注入和先验约束提升稳定性。实验表明，DiffMLP在FB15K-237等四个基准数据集上显著优于基线方法，MRR提升7.0%，Hits@3提升12.7%。

　　

刘浩|李东|曾冰|徐阳

华南理工大学软件工程学院，中国广东省广州市510006

摘要

在知识图中进行多跳链接预测仍然是一项具有挑战性的任务，尤其是在建模复杂的推理路径和处理不确定性方面。现有方法往往无法捕捉推理上下文与邻域空间之间的交互依赖关系。为了解决这个问题，本文引入了DiffMLP这一新颖框架，它通过反向扩散过程将每跳的动作空间建模为条件分布。DiffMLP利用基于图注意力机制的去噪器来指导这一过程，该去噪器利用先前的推理上下文，使模型能够通过优先考虑与当前路径最相关的实体来逐步细化动作嵌入。DiffMLP通过基于图注意力的去噪器在先前推理上下文的引导下工作，从而识别出最相关的动作，并通过逐步细化动作空间嵌入来实现这一目标。此外，它还结合了标准化噪声注入来稳定正向过程，并利用先验约束来调节反向过程。广泛的实验表明，DiffMLP在四个基准测试中取得了最先进的结果，在FB15K-237数据集上，其MRR提高了7.0%，Hits@3提高了12.7%。

部分摘录

引言

知识图谱（KGs）存储了大量的现实世界事实信息，已成为各个领域中重要的知识库，例如Freebase（Bollacker等人，2008年）受到了学术界和工业界的广泛关注（Toroghi和Sanner，2024年）。然而，由于网络资源的固有复杂性，知识图谱通常缺乏对现实世界知识的全面覆盖，并且存在不完整性，这限制了它们的有效性

知识图谱链接预测

KGE方法将实体和关系映射到连续的向量空间中，以捕获链接预测任务中的直接关联（Balazevic等人，2019年）。然而，它们主要关注单跳连接，这限制了它们通过间接或复杂的多步关系进行推理的能力（Du等人，2021年）。为了解决这一差距，多跳链接预测通过探索跨多个跳的实体和关系序列来扩展KGE，从而捕获间接连接模式并提供

预备知识

在本节中，我们将介绍与我们的任务相关的一些概念。然后，我们在表1中总结了主要符号及其含义。

知识图谱。知识图谱表示为$\mathrm{KG}=(E,R,T)$，其中$E$表示实体集，$R$表示关系集，$T?E\times R\times E$表示三元组集。每个三元组(e₁, r, e₂)表示存在一个关系$r\in R$，连接头部实体$e_1\in E$和尾部实体$e_2\in E$。此外，关系-实体对(r, e₂)可以解释为动作边

整体框架

如图1所示，DiffMLP将多跳链接预测构建为一个顺序生成过程。该框架的核心是一个扩散模型，它将从离散集合中选择单个正确动作的复杂任务重新定义为结构化的、多步的细化问题。在每个推理步骤中，一个正向过程系统地将局部动作空间$A_k$中所有可能动作的嵌入破坏为纯噪声状态。然后，一个条件反向过程学习如何

实验设置

数据集：我们在三个基准数据集上评估了模型的性能：FB15K-237（Toutanova等人，2015年）、NELL-995（Xiong等人，2017年）、YAGO3-10（Mahdisoltani等人，2014年）和WN18RR（Dettmers等人，2018年）。这些数据集的统计细节在表2中进行了总结。

基线我们将DiffMLP与四种类型的链接预测方法进行了比较。基于嵌入的方法：ConvE（Dettmers等人，2018年）、RotatE（Sun等人，2019年）和QuatE（Zhang等人，2019年）。基于GNN的方法

复杂性和效率分析

DiffMLP引入了用于多跳推理的正向和反向扩散过程，这涉及在局部动作空间上进行迭代噪声注入和去噪操作。每次查询的理论时间为O(K?·?T?·?L?·?N_A?·?d)，其中K是推理跳数，T是每跳的扩散步骤数，L是基于GAT的去噪器层数，N_A是动作空间的大小。空间复杂度为，其中N_e和N_r分别表示

结论与未来工作

本文提出了DiffMLP这一新颖框架，它创新性地应用扩散过程来解决知识图中多跳链接预测这一具有挑战性的任务。DiffMLP采用迭代正向和反向扩散过程来动态建模和细化每跳的动作空间分布。一个关键的创新是使用了基于GAT的条件去噪器。该去噪器通过去除噪声和无效信息，并在每个扩散步骤中优先考虑相关动作

CRediT作者贡献声明

刘浩：撰写——原始草稿，可视化，验证。李东：撰写——审阅与编辑，方法论，概念化。曾冰：项目管理，方法论，形式分析。徐阳：资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。