读懂2022 ICML论文：Transformer meets Graph Learning - Structure-Aware Techniques for Representation

简读分享 | 王豫 编辑 | 李仲深

论文题目

Structure-Aware Transformer for Graph Representation Learning

论文摘要

Transformer架构最近在图表示学习中得到了越来越多的关注，因为它自然地克服了图神经网络(gnn)的一些限制，避免了其严格的结构归纳偏差，而只通过位置编码对图结构进行编码。在这里，作者展示了由使用位置编码的Transformer生成的节点表示来捕获它们之间的结构相似性。为了解决这个问题，作者提出了结构感知Transformer，一类简单而灵活的图Transformer并且使用了新的自注意机制。这种新的自注意通过在计算注意力分数之前提取每个节点的子图表示将结构信息合并到原始的自注意中。作者提出了几种自动生成子图表示的方法，并从理论上表明，生成的表示至少与子图表示具有相同的表达能力。根据经验，作者的方法在五个图预测基准上达到了最先进的性能。作者的结构感知框架可以利用任何现有的GNN来提取子图表示，文中表明，它系统地提高了相对于基本GNN模型的性能，成功地结合了GNN和Transformer的优点。

论文链接

https://arxiv.org/pdf/2202.03036v1.pdf