GCM：通过图合作建模实现可解释的多智能体强化学习

《IEEE Transactions on Neural Networks and Learning Systems》：GCM: Interpretable Multiagent Reinforcement Learning via Graph Cooperation Modeling

　　多智能体强化学习（MARL）面临决策不透明问题，本文提出图协作建模（GCM）方法，利用图神经网络捕捉智能体复杂交互关系，通过度量函数筛选有益协作，结合身份语义和全局/个体价值函数评估贡献度，实验表明该方法在超难环境中性能提升28.75%且可解释性强。

　　

摘要：

多智能体强化学习（MARL）已经得到了广泛的研究，涵盖了从理论分析到实际应用等多个方面。然而，现有的不透明神经网络架构的使用导致了决策过程的不透明性，使得人们难以理解和信任所使用的模型。从根本上说，所有数据都是一种拓扑结构，这种结构由于其强大的关系表达能力、可扩展性和明确的结构关系，为MARL任务提供了可靠的透明度。在本文中，我们提出了一种新的图合作建模（GCM）方法，该方法利用图结构明确地捕捉和理解智能体之间复杂的协作关系动态。GCM学习了一个度量函数来识别智能体之间的有益互动，并将其集成到图神经网络（GNN）的智能体聚合策略中，该网络能够模拟任意阶的互动。此外，GCM结合了身份语义以及全局状态和个体价值函数来估计每个智能体的贡献，从而增强了每个智能体对任务相关区域的关注。在一系列具有挑战性的MARL基准测试中的大量实验表明，GCM不仅在超级困难的场景下实现了高达28.75%的相对性能提升，而且还提供了清晰的可解释性，有助于洞察潜在的协作模式。