图神经网络前沿

版权信息

书名：图神经网络前沿

ISBN：978-7-115-62557-1

本书由人民邮电出版社发行数字版。版权所有，侵权必究。

您购买的人民邮电出版社电子书仅供您个人使用，未经授权，不得以任何方式复制和传播本书内容。

我们愿意相信读者具有这样的良知和觉悟，与我们共同保护知识产权。

如果购买者有侵权行为，我们可能对该用户实施包括但不限于关闭该帐号等维权措施，并可能追究法律责任。

版　　权

著    石　川　王　啸　杨　成

译    石　川　王　啸　杨　成

责任编辑 吴晋瑜

人民邮电出版社出版发行　　北京市丰台区成寿寺路11号

邮编　100164 　电子邮件　315@ptpress.com.cn

网址　http://www.ptpress.com.cn

读者服务热线：(010)81055410

反盗版热线：(010)81055315

内 容 提 要

本书全面介绍了图神经网络的基础和前沿内容，以及图表示学习的基本概念和定义，并讨论了高级图表示学习方法的发展，旨在帮助研究人员和从业者了解图神经网络的基本问题。此外，本书探讨了图神经网络的几个前沿主题，包括利用图数据描述社会科学、化学和生物学等领域的真实数据的关系，还介绍了图神经网络的若干前沿趋势，能够帮助读者进一步掌握图神经网络所涉及的技术。

本书适合所有想了解图神经网络基本问题和技术的人，包括但不限于高等院校计算机专业高年级本科生及研究生、科研人员以及相关从业者。

序

关系结构在现实世界中无处不在。例如，人与人之间的社交关系、公司之间的交易关系以及蛋白质之间的生物关系等。图和网络是描述这些结构化数据最常见的方式，其中对象和关系分别被映射为节点和边。随着机器学习和深度学习技术的巨大成功，如何对图进行数值表示已成为网络分析中的一个基本问题。特别地，图表示学习已在过去十年广受关注，旨在将网络中的每个节点编码为低维向量。最近，基于图神经网络的表示学习方法在各种基于图的应用中展现出卓越的优势，成为图表示学习的最新范式。图神经网络在节点级和图级任务中表现良好，并极大地推动了图表示学习在现实世界中的广泛应用，涵盖了从经典的基于图的应用（如推荐系统和社交网络分析）到新的前沿领域（如组合优化、物理学和医疗）。图神经网络的广泛应用使得来自不同学科的多样化贡献和观点成为可能，还使得这个研究领域真正实现了跨学科。

本书全面介绍了图神经网络的基础知识和前沿主题，主要分为三部分：第一部分（第1和第2章）介绍图神经网络的基本定义和发展历程；第二部分（第3 ～ 8章）涵盖了图神经网络的前沿主题；第三部分（第9章）讨论了图神经网络未来的发展方向。本书从图表示学习的基础知识开始，介绍了图神经网络的多个前沿研究方向，包括同质图神经网络、异质图神经网络、动态图神经网络、双曲图神经网络、图神经网络的知识蒸馏、图神经网络平台等。如果说基础知识有助于读者快速了解图神经网络的优点，那么图神经网络的各种前沿主题则有望激励读者开发自己的模型。无论是学术界还是工业界的初学者，抑或有经验的研究人员，都有望从本书的内容中获益。

本书的作者多年来一直从事图表示学习的研究，在基础算法的研发方面颇有建树。其中，石川自2010年以来与我建立了紧密的合作关系。他在异质信息网络分析方面做了许多重要的工作，推动了该领域的发展。王啸和杨成是图表示学习领域的新星学者，发表了多篇引用量很高的论文。我了解到这些优秀的年轻研究人员组建了一个快速崛起的实验室，专注于图数据挖掘和机器学习，由石川带队，名为GAMMA Lab，而本书正是GAMMA Lab在图神经网络领域所做工作的系统性总结。我希望读者能通过学习本书的内容，对自己的工作或研究有所裨益。

俞士纶

伊利诺伊大学芝加哥分校杰出教授

前  言

在大数据时代，图数据得到了人们的广泛关注，在社交网络、生物网络以及推荐系统等多个领域都有应用。例如，在社交网络中，用户及其行为可以建模为图；在化学中，分子结构自然形成一个图；而在文本分析中，单词、句子和文本之间的关系也可以建模为图。尽管数据可能来自不同领域、拥有各种模态，但是都可以视为图，这意味着图将对人们生活的方方面面产生深远影响。因此，图分析有着重要的科学和应用价值。

要弥合图数据与现实世界应用之间的差距，我们所面临的一个基本问题就是图表示学习，即如何为图中的节点学习低维向量，以便可以基于新学习的向量而不是原始的图结构来进行应用。深度学习在某些领域（如计算机视觉）展现出了强大的能力，也是处理图数据的一种有前景的技术。与以前主要注重保留拓扑结构的图表示学习不同，图神经网络以逐层方式沿拓扑传播节点特征来学习节点表示，这样学到的表示自然地编码了来自节点特征和拓扑的有效信息。如今，图神经网络已成为深度学习中的典型网络架构，我们见证了它在推荐系统和生物网络等实际应用中的出色性能。关于图神经网络的研究成果越来越多，在学术界和工业界呈现全球化的发展趋势。有鉴于此，迫切需要对图神经网络的相关内容进行全面总结和讨论。

本书面向对图神经网络感兴趣的读者群体。总体而言，本书适合所有希望了解图神经网络的基本问题和技术的读者。特别地，我们希望大学生、研究人员以及在大学和IT公司工作的工程师能够从本书中获得启发。

本书分为三部分，读者可以在第一部分快速了解这个领域，在第二部分深入学习图神经网络的前沿主题，并在第三部分了解其未来的发展方向。

在第一部分（第1章和第2章）中，我们介绍了不同图的基本概念以及图神经网络的发展情况，包括几种典型的图神经网络，以期帮助读者快速了解这个领域的整体发展。特别是在第1章中，我们将总结基本概念和定义，以及图神经网络的发展历程。在第2章中，我们将介绍基本的图神经网络，包括图卷积网络等。

在第二部分（第3～8章）中，我们给出了对代表性图神经网络技术深入且详细的介绍，以期帮助读者了解这个领域的基本问题，以及如何为这些问题设计先进的图神经网络。特别是在第3章中，我们讨论了同质图神经网络，包括自适应多通道图卷积网络等。在第4章中，我们介绍了异质图神经网络，主要关注异质图传播网络等。随后，我们在第5章中介绍了动态图神经网络，例如时空图神经网络。在第6章中，我们介绍了双曲图神经网络，包括双曲图注意力网络和洛伦兹图卷积网络等。在第7章中，我们介绍了图神经网络的知识蒸馏和无数据对抗知识蒸馏等。最后，在第8章中，我们对一些成熟的图神经网络平台及其特点进行了描述，并介绍了支持多后端的图神经网络平台GammaGL。

在第三部分（第9章）中，我们就图神经网络未来的研究方向进行了总结和讨论。尽管已经有许多图神经网络方法，但仍存在诸多重要的尚未深入探索的开放性问题，例如图神经网络的鲁棒性和公平性。当把图神经网络应用于现实世界，特别是一些风险敏感领域时，这些问题需要慎重考虑。

本书得以顺利付梓，离不开所有参与者的努力和支持，在此对大家表示衷心的感谢！本书由北京邮电大学GAMMA Lab团队编写。在撰写本书过程中，张梦玫、朱美琪、薄德瑜、王睿嘉、纪厚业、刘念、吉余岗、陆元福、张依丁、刘佳玮、庄远鑫、郭雨心、赵天宇、刘曜齐等同学承担了内容的整理和审校工作；张中健、邢宇杰、刘洋、代皓燃、王春辰、程泓涛、闫博、佘俊达、孙奥等同学承担了翻译初稿的工作。

本书的编写还得到了国家自然科学基金（U20B2045、 U1936220、61772082、61702296、62002029和62172052）的支持。

最后，感谢我们的家人、朋友以及合作伙伴多年来给予的全心全意的支持！

石川　王啸　杨成

中国，北京

第1章　概述

在现实世界中, 关系结构无处不在且种类繁多, 如社会关系、交易关系、生物关系等, 通常可用图建模这些关系结构。最近, 图上的研究已经吸引了广泛的关注, 尤其是为下游任务学习节点嵌入的图表示学习。在本章中, 我们首先引入了图表示学习中的一些基本根念和定义; 然后介绍了先进的图表示学习方法, 涵盖了图神经网络的发展, 讨论了图神经网络的前沿方向; 最后总结了本书的组织结构。

1.1　基本概念

图数据可以用来描述现实世界中不同领域数据的成对关系, 包括社会科学、化学、生物学等。我们首先介绍图的基本概念。

1.1.1　图的定义和属性

在本小节中, 我们主要关注无权图, 并介绍相关重要定义。

定义 1.1　图　图可以表示为 ,其中 表示节点集合, 表示边集合。连接节点 和 的边可以表示为 。

以社交图为例, 节点表示人, 边表示社交关系, 如朋友、同学、师生关系或者家长-子女关系; 在推荐图中, 节点表示人或商品, 边表示购买行为; 在化学中, 化合物可以表示为以原子作为节点、以化学键作为边的图。如果节点 和 之间存在一条边,则节点 与 相邻。图 可以等价表示为描述节点连通性的邻接矩阵。

定义 1.2　邻接矩阵　给定一个图 ,我们可以使用邻接矩阵 表示边的分布。该邻接矩阵的第 个元素 ,表示节点 和 之间的连通性。 表示存在边, 表示没有边存在。

特别地, 在有向图中, 边从一个节点指向另一个节点; 而在无向图中, 两个节点的则序没有区别,即两个节点的顺序不影响它们之间的边。在无向图中,当且仅当节点 与 相连时,节点 与 相连,即对于图中的所有节点 和 。因此,无向图的邻接矩阵是对称的。请注意, 除非特别说明, 否则这里我们的讨论仅针对无向图。通过邻接矩阵, 我们可以轻松计算节点与其他节点相邻的次数, 即节点的度。

定义 1.3　邻居节点　图 中节点 的邻居节点集合表示为 ,其中包含所有与 相连的节点。

定义 1.4　度　节点 的度为 。节点 的度等于邻居节点集合 的大小,即 。对角线度矩阵可以表示为 。

以一个包含 5 个节点和 7 条边的图为例,如图 1.1 (a) 所示,节点集合表示为 ,边集合表示为 。这个图的邻接矩阵可以表示为图 1.1 (b) 中的 ,节点 的一阶邻居是节点集合 ,节点 的度为 3 。这个图的度矩阵可以表示为图 1.1 (c) 中的 。

图1.1　图及其矩阵表示

在许多实际应用中, 节点通常会关联一些特征或属性。这种数据可以看作图信号, 它同时捕捉了节点间的结构信息和节点的属性。图信号的目标是将节点特征（通过图域中定义的映射函数 ) 映射到实数值上。映射函数可以形式化地表示为 ,其中是与每个节点关联的值（向量）的维数。

此外, 谱图理论通过分析一个图的拉普拉斯矩阵的特征值和特征向量来研究该图的性质。接下来, 我们将定义一个图的拉普拉斯矩阵并讨论其关键属性。拉普拉斯矩阵的另一个定义是其归一化版本。由于度矩阵 和邻接矩阵 都是对称的,因此拉普拉斯矩阵也是对称的。

定义 1.5　拉普拉斯矩阵　对于具有邻接矩阵 的图 ,其拉普拉斯矩阵定义为 ,其中 为对角线度矩阵。

定义 1.6　归一化拉普拉斯矩阵　对于给定的以 为邻接矩阵的图 ,其归一化普拉斯矩阵 定义为

　　(1.1)

1.1.2　复杂图

我们前面讨论的简单图都是同质的, 它们只有一种节点类型和一种边类型。实际上, 现实世界中的图要复杂得多, 下面介绍常见的复杂图。

首先, 我们将介绍异质图的定义。异质图又称为异质信息网络 (Heterogeneous Infor-mation Network, HIN), 用于在实际应用中对多种类型的节点之间的多种关系进行建模。我们在图 1.2 (a) 中描述了一个异质图的示例, 异质图可以形式化地定义如下。

定义 1.7　异质图　异质图 包含一组节点 和一组边 , 。每个节点 和边 都与它们的类型映射函数 和 相关联,其中 。

由于异质图包含多种节点类型和边类型, 为了理解其整体结构, 我们有必要提供关于图的元级别 (或模式级别) 描述。于是, 网络模式被提出以对图进行抽象描述。例如, 我们在图 1.2 (b) 中展示了一个网络模式的示例, 并进一步给出了以下定义。

定义 1.8　网络模式^[244]　给定异质图 ,网络模式 可以看作 的元格板,其中包括节点类型映射函数 和边类型映射函数 。图 1.2 (b) 展示了学术异质图的网络模式。

为了捕捉异质图中的结构和语义相关性, 人们设计了基于元路径 [见图 1.2 (c) ] 或基于元图 [见图 1.2 (d) ] 的方法。元路径可以用来引导随机游走, 基于元路径的随机游走是给定元路径下随机生成的实例。

图1.2　学术异质图示例,包括(a)4种类型节点(作者(A)、论文(P)、会议(C)和术语(T))和3种类型连接(即发表、包含和撰写),(b)网络模式,(c)元路径[作者-论文-作者(APA)和作者-论文-会议-论文-作者(APCPA)],以及(d)元图

定义 1.9　元路径^[175]　给定异质图 ,元路径 表示为 , 其中 和 分别表示某些类型的节点和边。元路径定义了从类型 到类型 的复合关系,其中关系可以表示为 。

不同的元路径从不同的视角捕捉语义关系。图 1.2中展示的那个元路径的例子, 可以看作元路径 “APA” 和 “APCPA” 的组合, 反映了两个节点的高阶相似性。例如, 元路径“APA” 表示合著关系, 元路径 “APCPA” 表示共同会议关系, 它们都可以用于描述作者之间的相似度。请注意, 元图可以是对称的或非对称的。

虽然元路径可以用来描述节点之间的连接, 但它无法捕捉更复杂的关系, 比如 motif。元图的提出解决了这个挑战, 元图使用节点和链接类型的有向无环图来捕捉两个异质图节点之间更复杂的关系。

定义 1.10　元图^[87]　元图 是由多个具有共同节点的元路径构成的有向无环图 (Directed Acyclic Graph,DAG)。在形式上,元图定义为 ,其中 是节点集合, 是链接集合。对于任何节点 ; 对于任何链接 。

另外, 为了捕捉不同对象之间的交互, 另一种被广泛使用的图称为二分图。例如, 在许多电商平台 (如亚马逊) 上, 用户的单击历史可以建模为一个二分图, 其中用户和商品是两个不相交的节点集合, 而用户的单击行为则构成它们之间的边。具体来说, 我们在图 1.3 (a) 中展示了一个二分图的例子。

定义 1.11　二分图　给定一个二分图 ,其中 由两个不相交的节点集合 和 组成,即 且 。此外,任意两个来自相同节点集合的节点之间不存在边。对于任意一条边 ,我们有 和 。

接下来, 我们将讨论能够捕获时间信息的图。上述提到的图都是静态的, 即在观察时，节点之间的连接是固定的。然而在许多实际应用中, 图是不断演化的, 新的节点被添加到图中, 新的边不断出现。例如, 我们在图 1.3 (b) 中展示了一个具有动态链接信息的图。下面我们给出动态图的正式定义。

图1.3　二分图和动态图的示例

定义 1.12　动态图　动态图 具有不断变化的节点集合 和边集合 。具体而言,每个节点或每条边都与指示它们出现的时间戳 相关联。

现实中, 我们可能无法记录每个节点和 (或) 每条边的所有时间戳, 因此通常使用快照来检查图的演变,其中,时间戳为 时观察到的图可以表示为 。例如,图 1.3 (b) 中的动态图由多个图的快照组成。

1.1.3　图上的计算任务

目前有各种各样针对图的计算任务被提出。然而, 为了完成图上的各种任务, 我们首先需要基本的图表示, 即节点嵌入。它可以建模图中的有用信息, 获得节点嵌入的过程又称为图表示学习。

定义 1.13　图表示学习^[31]　图表示学习又称为网络嵌入,旨在学习一个将图中节点 嵌入低维欧几里得空间 (其中 ) 的函数 (见图 1.4)。

通过图表示学习, 复杂的非欧几里得空间网络被投影到低维欧几里得空间中, 从而很好地解决了高计算成本和低并行性的问题。

图1.4　图表示学习的一个例子(示例图来自Deep Walk^[150])

许多以节点为中心的任务已经得到广泛研究, 例如节点分类、节点排名、链接预测和社群检测。接下来, 我们主要讨论两个典型任务, 分别是节点分类和链接预测。由于在现实中往往很难为所有节点获取完整的标签集合, 我们也许只能获得一部分与标签相关联的图, 并旨在推断没有标签的节点的标签, 这启发了图上的节点分类问题。

定义 1.14　节点分类　在图 中,部分节点带有标签,这些节点集合表示为标签集 。没有标签信息的节点集合表示为无标签集 。具体而言, 且 。节点分类任务的目标是预测 中节点的标签,并通过从 和 中提取有用信息来学习一个映射函数 。

实际应用中的图并不完整, 往往存在缺失边, 一些边没有被观察或记录。推断或预测这些缺失的边, 可以为许多应用程序带来提升。

定义 1.15　链接预测　在图 中, 表示所有观察到的边。假设 表示所有可能的节点之间的边。未观察到的节点之间的潜在边集合表示为 ,其中 。链接预测任务的目标是预测最可能存在的边。在完成链接预测任务后,就可以为 中的每条边分配一个分数, 该分数表示边存在或将来出现的可能性。

除了节点级别任务, 还有许多图级别任务, 例如图分类、图匹配和图生成。接下来, 我们将讨论最具代表性的以图为中心的任务, 即图分类。

事实上, 节点分类将图中的每个节点视为一个数据样本, 并旨在为这些未标记的节点分配标签。在某些应用中, 每个样本可以表示为一个图。例如, 在化学信息学中, 化学分子可以表示为图, 其中原子是节点, 它们之间的化学键是边。不同化学分子具有不同的特性, 如溶解度和毒性, 这些特性可以视为它们的标签。现实中, 我们可能希望自动预测这些新发现化学分子的特性。这个目标可以通过图分类任务来实现, 图分类任务旨在为未标记的图预测标签。由于图结构的复杂性, 图分类通常不能简单地通过传统的分类方法来完成。图分类的定义如下。

定义 1.16　图分类　给定一组带标签的图 ,其中 表示图 的标签,图分类任务的目标是利用上述有标签的图 来学习一个映射函数,该映射函数可以为无标签的图预测标签。

1.2　图神经网络的发展

1.2.1　图表示学习的历史

图表示学习旨在学习节点嵌入, 并在过去的几十年里得到了很大的发展, 可分为传统图嵌入、现代图嵌入和图深度学习。

作为图表示学习的第一代方法, 传统图嵌入已经在谱聚类、基于图的降维和矩阵分解等背景下得到广泛研究。现代图嵌入将 word2vec 成功扩展到图领域, 开启了第二代图表示学习。word2vec 是一种生成词嵌入的技术, 它将大量的文本语料库作为输入, 并为文本语料库中的每个唯一单词生成一个向量表示。word2vec 在各种自然语言处理任务中取得了巨大成功, 这激发了人们越来越多地尝试将 word 2vec (尤其是 skip-gram 模型) 应用于学习节点表示。DeepWalk ^[150] 迈出了实现这一目标的第一步。具体而言,给定一个图,其中的节点将被视为一种人工语言的单词, 随机游走会生成这种人工语言的句子。然后使用 skip-gram 模型学习节点表示, 这样就可以保留这些随机游走中节点的共现信息。随后, 一些经典的图嵌入方法被提出^{[19,69,106,155,194]}。

由于深度神经网络在表示学习方面的强大和成功, 越来越多的工作致力于将其推广到图中。图神经网络 (Graph Neural Network, GNN) 是其中最具代表性的工作, 它设计了一个基于卷积的算子, 目的是在空域中通过网络结构过滤节点属性。这些方法被称为图神经网络, 它们可以大致分为空域方法和谱域方法两种。谱域方法利用图的谱域视图, 通过图傅里叶变换和图傅里叶逆变换来设计可以用于过滤输入信号的某些频率的图谱滤波算子。 Bruna 等人在参考文献 [13] 中尝试设计图傅里叶系数, 而切比雪夫多项式滤波器算子被提出用于减少计算成本并使算子在空间上局部化^[35]。随后,Kipf 和 Welling 在参考文献 [101] 中简化了切比雪夫滤波器。Xu 等人在参考文献 [209] 中利用小波图滤波器来设计 GNN。另外, 基于空域的图神经网络已经发展起来, 这些方法明确地利用图结构 (例如利用空域中的相邻节点) 来设计空域滤波器。Kipf 和 Welling 提出了最经典的基于空域的 GNN, 随后 Hamilton 等人在参考文献 [73] 中提出了 GraphSAGE。GraphSAGE 首先采样邻居,然后引入了具有平均值、LSTM (Long Short-Term Memory, 长短期记忆) 或池化聚合器的邻居聚合策略。紧接着, 参考文献 [185] 引入了自注意力机制来学习图注意力网络中的邻居边权。

此外, 图神经网络不仅在节点级别的图分析任务上表现良好, 而且在以图为中心的任务 (如图分类) 上也表现出色。在这些任务中, 由于需要整个图的表示, 因此引入了许多池化方法^[59,125,221]。

1.2.2　图神经网络的前沿

在深度学习时代, 图神经网络已经在以下前沿方面迅速发展, 相应的模型也已经被提出。

异质图神经网络　GNN 模型已经被设计用于处理复杂图, 如异质图。在异质图中, 存在不同类型的节点。为了捕捉异质图中的结构和语义相关性, 人们设计了基于元路径或元图的方法。例如, 参考文献 [25] 和 [240] 利用元路径将异质图分解为几个同质图。HAN^[196] 通过注意力机制聚合基于元路径的不同类型的邻居信息,进一步生成节点表示。 等人^[82]提出了一种用于短文本分类的异质图注意力网络。GTN^[226]学习了边类型的软选择,并自动生成元路径,解决了元路径选择的问题。HGT ^[83]采用异质互注意力机制来聚合元关系三元组,MAGNN^[54]利用关系旋转编码器来聚合元路径实例。

动态图神经网络　DANE 利用矩阵扰动理论,以在线方式捕捉邻接矩阵和属性矩阵的变化。DynamicTriad 引入了三元闭包过程,以保留动态网络的结构信息和演化模式。CTDNE 设计了一种时间依赖的随机游走采样方法,用于从连续时间动态网络中学习动态网络嵌入。HTNE 将 Hawkes 过程集成到网络嵌入中,以捕捉历史邻居对当前邻居的影响,用于时态网络嵌入。Dyrep 利用深度时态点过程模型,将图的结构-时间信息编码为低维表示。为了归纳式地推断新观测节点和已有节点的嵌入, 参考文献 [210]提出了基于经典 Bochner 定理的时态图注意力机制。

双曲图神经网络　近年来, 双曲空间中的节点表示学习受到越来越多的关注。参考文献 [137] 将图嵌入双曲空间以学习分层节点表示, 参考文献 [157] 提出了一种新颖的组合嵌入方法以及一种在双曲空间中进行多维缩放的方法。为了更好地建模分层节点表示, 参考文献 [57] 和 [176] 将有向无环图嵌入双曲空间以学习它们的分层特征表示, 参考文献 [108] 分析了分层表示和洛仑兹距离之间的关系。此外, 参考文献 [6] 分析了多关系图中的分层结构, 并将它们嵌入双曲空间。更进一步地, 一些研究人员开始研究双曲空间中的深度学习, 参考文献 [119] 在双曲空间中推广了 GNN 和 GRU 等深度神经模型, 参考文献 [70] 提出了双曲空间中的注意力机制。最近也有一些在双曲 GCN 方面的尝试, 参考文献 [22] 提出了针对图分类任务的双曲图神经网络, 旨在利用双曲图卷积来学习双曲模型中的节点表示; 参考文献 [238] 提出了一种基于庞加莱球模型的图注意力网络, 它可以低失真地学习层次化的图和无标度的图; 参考文献 [5] 在非欧几里得设置中推广了图卷积。

图神经网络的知识蒸馏　实际上, 也有一些将知识蒸馏与 GNN 相结合的研究。参文献 [216] 提出了计算机视觉领域的一种方法, 它使用局部结构保持模块将具有大特征图的深度 GCN 压缩为具有较少参数的浅层 GCN。可靠数据蒸馏 (Reliable Data Distillation, RDD) [236] 对具有相同结构的多名 GCN 学生进行训练,然后以类似于 BAN 的方式将它们组合以获得更好的性能。图马尔可夫神经网络 (Graph Markov Neural Network, GMNN) ^[152] 也可以视为一种知识蒸馏方法, 其中具有不同接受大小的两个 GCN 相互学习。这些工作中的教师模型和学生模型都是 GCN。

越来越多的证据表明, 第三代图表示学习, 尤其是图神经网络, 极大地促进了图上的计算任务, 包括针对节点和针对整个图的计算任务。由 GNN 带来的革命性进展也拓展了图表示学习在现实应用中的广度和深度。对于图表示学习的经典应用领域, 如推荐系统和社交网络分析, GNN 已达到最先进的性能。同时, GNN 的新应用领域也在不断涌现, 如组合优化、物理学和医疗保健。这些广泛的应用使得 GNN 这一研究领域真正具备了跨学科性。

1.3　本书的组织结构

本书全面介绍了图神经网络的基础和前沿, 主要分为三部分: 第一部分 (第 1 和第2章) 介绍了图神经网络的基本定义和发展; 第二部分 (第 章) 涵盖了图神经网络的前沿主题, 包括同质图神经网络、异质图神经网络、动态图神经网络、双曲图神经网络、图神经网络的知识蒸馏、图神经网络平台和实践等; 第三部分 (第 9 章) 介绍了图神经网络的未来方向并做了全书总结。

● 第一部分: 这部分重点介绍了图的基础知识和图神经网络的发展。首先, 我们介绍了关键概念, 并定义了各种类型的复杂图和图上的计算任务。然后, 我们讨论了图神经网络的发展历程, 并提到了各种前沿的图神经网络。此外, 基础部分还介绍了较具代表性和基础的图神经网络模型, 包括图卷积网络 (Graph Convolutional Network, GCN)、图注意力网络 (Graph Attention Network, GAT) 和归纳式 GraphSAGE 模型。最后, 我们介绍了最具代表性的异质图注意力网络 (Heterogeneous graph Attention Network, HAN) 用于复杂图分析。

● 第二部分: 这部分从不同方面描述了图神经网络方法的进展。在第 3 章中, 我们回顾了一些关于同质图神经网络设计热点的最新研究, 涵盖了分析特征和拓扑关系的工作、提出 GNN 理论框架的工作、讨论 GNN 的高频和低频信息的工作, 以及为 GNN 设计图结构学习的工作。在第 4 章中, 我们介绍了最近的异质图神经网络, 其中考虑到了传播深度、距离建模、对抗性分离器和自我训练措施。在第 5 章中, 手们着重介绍了动态图分析方法, 提供了动态异质图神经网络设计的技术细节。在第 6 章中, 我们涵盖了一些双曲图神经网络的代表性研究。在第 7 章中, 我们讨论了用于图神经网络的先进知识蒸馏方法。在第 8 章中, 我们对一些成熟的 GNN 平台及其特点进行了描述, 并介绍了支持多后端的图学习平台 GammaGL。

● 第三部分: 这部分介绍了图神经网络未来研究中可能重要和有前途的方法及应用的进展。我们讨论了 GNN 中的一些先进主题, 如鲁棒性、可解释性、公平性等。相应地, 这部分还讨论了新兴的方法和应用领域。