论文标题：Label-invariant Augmentation for Semi-Supervised Graph Classification
论文作者：Han Yue, Chunhui Zhang, Chuxu Zhang, Hongfu Liu
论文来源：2022，NeurIPS
论文地址：download
论文代码：download
1 Introduction
我们提出了一种图对比学习的标签不变增强策略，该策略涉及到下游任务中的标签来指导对比增强。值得注意的是，我们不生成任何图形数据。相反，我们在训练阶段直接生成标签一致的表示作为增广图。
2 Methodology
2.1 Motivation
数据增强在神经网络训练中起着重要的作用。它不仅提高了学习表示的鲁棒性，而且为训练提供了丰富的数据。
例子：（使用 $50%$ 的标签做监督信息。数据增强：node dropping, edge perturbation, attribute masking, subgraph sampling）
显然有些数据增强策略（或组合）对于模型训练又负面影响。本文进一步使用 MUTAG 中的 $100%$ 标签训练模型，然后以每种数据增强抽样概率 $0.2$ 选择数据增强图，发现 80% 的数据增强图和原始图标签一致，约 $20%$ 的数据增强图和原始图标签不一致。
2.2 Label-invariant Augmentation
整体框架：
四个组成部分：
-
- Graph Neural Network Encoder
- Classifier
- Label-invariant Augmentation
- Projection Head
出发点：对于一个有标记的图，我们期望由增强表示预测的标签与地面真实标签相同。
2.2.1 Graph Neural Network Encoder
GCN layer :
其中：
-
- $G^{(l)}$ denotes the matrix in the l -th layer, and $G^{(0)}=X$
- $\sigma(\cdot)=\operatorname{ReLU}(\cdot)$
池化 (sum)：
$H=\operatorname{Pooling}(G)\quad\quad\quad\quad(2)$
2.2.2 Classifier
基于图级表示，我们使用带有参数 $\theta_{C}$ 的全连接层进行预测：
$C^{(l+1)}=\operatorname{Softmax}\left(\sigma\left(C^{(l)} \cdot \theta_{C}^{(l)}\right)\right)\quad\quad\quad\quad(3)$
其中，$C^{(l)}$ 表示第 $l$ 层的嵌入，输入层 $C^{(0)}=H^{O}$ 或 $C^{(0)}=H^{A}$ 分别表示原始表示和增强图表示。实验中，采用了一个 2 层多层感知器，得到了对原始表示 $H^{O}$ 和增强表示 $H^{A}$ 的预测 $C^{O}$ 和 $C^{A}$。
2.2.3 Label-invariant Augmentation
不对图级表示做数据增强，而是在原始图级表示$H^{O}$上做微小扰动得到增强图级表示。
在实验中，首先计算所有图的原始表示的质心，得到每个原始表示与质心之间的欧氏距离的平均值为 $d$，即：
$d=\frac{1}{N} \sum_{i=1}^{N}\left\|H_{i}^{O}-\frac{1}{N} \sum_{j=1}^{N} H_{j}^{O}\right\|\quad\quad\quad\quad(4)$
然后计算增强图表示 $H^{A}$：
$H^{A}=H^{O}+\eta d \Delta\quad\quad\quad\quad(5)$
其中 $\eta$ 缩放扰动的大小，$\Delta$ 是一个随机单位向量。
为实现标签不变增强，每次，随机生成多个扰动，并选择符合标签不变属性的合格候选增强。在这些合格的候选对象中，选择了最困难的一个，即最接近分类器的决策边界的一个，以提高模型的泛化能力。
2.2.4 Projection Head
使用带有参数 $\theta_{P}$ 的全连接层，从图级表示中得到对比学习的投影，如下所示：
$P^{(l+1)}=\sigma\left(P^{(l)} \cdot \theta_{P}^{(l)}\right) \quad\quad\quad\quad(6)$
采用一个 2 层多层感知器，从原始表示 $H^{O}$ 和增广表示 $H^{A}$ 中得到投影 $P^{O}$ 和 $P^{A}$。
2.2.5 Objective Function
目标函数包括对比损失和分类损失。对比损失采用 NT-Xent，但只保留正对部分如下：
$\mathcal{L}_{P}=\frac{-\left(P^{O}\right)^{\top} P^{A}}{\left\|P^{O}\right\|\left\|P^{A}\right\|} \quad\quad\quad\quad(7)$
对于分类损失，采用交叉熵，其定义为：
$\mathcal{L}_{C}=-\sum_{i=1}^{c}\left(Y_{i}^{O} \log P_{i}^{O}+Y_{i}^{O} \log P_{i}^{A}\right) \quad\quad\quad\quad(8)$
其中，$Y^{O}$ 是输入图的标签，$c$ 是图类别的数量。本文只计算带标签的图的 $\mathcal{L}_{C}$。$\text{Classifier}$ 的改进将有助于标签不变的增强，反过来有利于分类器的训练。
结合等式 $\text{Eq.7}$ 和 $\text{Eq.8}$ ，总体目标函数可以写成如下：
$\underset{\Theta}{\text{min}} \quad\mathcal{L}_{P}+\alpha \mathcal{L}_{C}\quad\quad\quad\quad(9)$
3 Experiments
3.2 Semi-supervised graph classification results
3.3 Algorithmic Performance
3.4 In-depth Exploration
现有的图对比学习方法将来自不同源样本的增广图视为负对，并对这些负对采用实例级判别。由于这些方法分离了 pre-train 阶段和 fine-tuning 阶段，因此负对包含了来自不同源样本的增强样本，但在下游任务中具有相同的类别。
Figure 4(a) 显示了我们在四个数据集上有负对和没有负对的 GLA 的性能。可以看到，与没有负对的默认设置相比，有负对的性能显著下降，而负对在所有四个数据集上都表现一致。与现有的图对比方法不同，GLA 集成了预训练阶段和微调阶段，其中以自监督的方式设计的负对不利于下游任务。这一发现也与最近的[10,9]在视觉对比学习领域的研究结果相一致。
4 Conclusion
本文研究了图的对比学习问题。从现有的方法和训练前的方法不同，我们提出了一种新的图标签不变增强（GLA）算法，该算法集成了训练前和微调阶段，通过扰动在表示空间中进行标签不变增强。具体来说，GLA首先检查增广表示是否服从标签不变属性，并从合格的样本中选择最困难的样本。通过这种方法，GLA在不生成任何原始图的情况下实现了对比增强，也增加了模型的泛化。在8个基准图数据集上的半监督设置下的广泛实验证明了我们的GLA的有效性。此外，我们还提供了额外的实验来验证我们的动机，并深入探讨了GLA在负对、增强空间和策略效应中的影响因素。