用于半监督节点分类的分层图卷积网络 / 基于关系的深度学习

SFFAI

1️⃣ 讲者介绍

呼奋宇：中国科学院自动化研究所智能感知与计算研究中心17级直博生，目前的主要研究方向是图数据挖掘。已发表IJCAI2019论文一篇。

报告题目：Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification

报告摘要：节点分类是图数据挖掘中一个重要而基础的任务，已有的工作通常使用图卷积网络（GCNs）学出每个节点的表达并最终分类。但是大多数主流的图神经网络层数比较浅（仅有两层或三层），而且缺乏“图池化”机制，这使得每个节点只能获取有限的局部信息而无法感知全局信息，从而限制了模型的性能。现实中，由于海量的图数据量和高昂的标注成本，我们通常面临的是一种半监督节点分类的场景（即标记数据很少，待预测的节点和标记节点通常距离较远），这更加要求模型有足够大的感受野来感知到标记样本的信息。本次报告将以增大图网络的感受野为出发点，介绍我们在IJCAI2019上的最新工作。

Spotlight：

通过对称的粗化（coarsening）和还原（refine）操作，设计了层次化的图神经网络，从而增大了模型的感受野。
在半监督条件下效果显著，在基准数据集上取得state-of-the-art的结果；当训练数据极少时，相比之前方法至少有6个百分点的精度提升。

2️⃣ 讲者介绍

常建龙：中科院自动化所在读博士。在2015年获得电子科技大学数学与应用数学专业理学学位，之后师从潘春洪和向世明研究员在中科院自动化所模式识别国家重点实验室攻读博士学位，主要研究方向为基于关系的深度学习，包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI（2篇）, NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。

报告题目：基于关系的深度学习（ Relation-based Deep Learning）

报告摘要：作为当下最受欢迎的机器学习方法之一，深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地降低网络中的参数冗余度、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能，例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。

Spotlight：

深度网络中关系的建模。

3️⃣ 论文推荐

近年来，针对深度神经网络存在的局限性，用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日（周日），《SFFAI 33-图深度学习》两位主讲嘉宾（呼奋宇、常建龙）为大家精选了图深度学习在池化操作、归纳学习以及深度网络关系建模的几篇代表性工作，和大家一起分享最新的研究进展。

1. DeeperInsightsintoGraphConvolutionalNetworks forSemi-SupervisedLearning

推荐理由：Kipf和Welling提出的GCN是一个经典的工作，它可以近似看成是把一阶邻居节点求和，进而得到中心节点的表达。但是GCN模型仅有2层，当层数加深后精度会明显下降。这篇文章证明了GCN本质上是一种拉普拉斯平滑，它会使得同一个连通分量里的所有节点的表达变得相似。因此当层数加深时，会造成“过度平滑”，即同一个连通分量里的节点会变得很难区分。

推荐理由来自：呼奋宇

2. Hierarchical Graph Representation Learning with Differentiable Pooling

推荐理由：这篇文章的想法很新颖，它的任务对对整体的图结构进行分类，为了得到全局的特征，它设计了一个层次化的图神经网络来逐层提取特征。本文提出了可微分池化的思想，对于每层神经网络得到的表达，它用学习的方式学出一个池化矩阵，并用该矩阵对每层得到的表达进行池化操作。

荐理由来自：呼奋宇

3. Hierarchical Representation Learning for Networks

推荐理由：这篇文章的出发点也是为了增大感受野，因此设计了粗化机制逐层减小图数据的规模。对于粗化后得到的最小的特征图，作者先使用了传统的无监督学习的方法，如DeepWalk，Line得到每一个节点的表达，这样学出来的表达可以更多地捕获全局信息。然后，再使用对应的还原机制把特征图逐层还原，在每一次还原后都使用无监督方法继续更新节点的表达。在不同的实验数据库上均表明所提方法的有效性。

荐理由来自：呼奋宇

4. Reltional Inductive biases, deep learning, and graph networks

推荐理由：2018年DeepMind和Google Brain提出的graph networks的一个统一架构，基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。

推荐理由来自：常建龙

5. DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH

推荐理由：DARTS是DeepMind和CMU的论文，被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，本文的方法是基于将结构表示的松弛（relaxation），允许使用梯度下降高效搜索架构。在CIFAR-10，ImageNet，Penn Treebank和WikiText-2上进行了大量实验，表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。

推荐理由来自：常建龙

录播视频/推荐论文下载/讲者PPT登录后获取查看地址

此内容登录并刷新后可见

呼奋宇

脉冲神经网络与小样本学习

1. 导读

节点分类是图数据挖掘中一个基础而且重要的任务，已有的工作通常先使用图卷积网络（GCNs）学出每个节点的表达然后再分类。但是大多数主流的图神经网络层数比较浅（仅有两层或三层），而且缺乏“图池化”机制，这使得每个节点只能获取有限的局部信息而无法感知全局信息，从而限制了模型的性能。现实中，由于海量的图数据规模和高昂的标注成本，我们通常面临的是一种弱监督节点分类的场景（即标记数据很少，待预测的节点和标记节点通常距离较远），这更加要求模型有足够大的感受野来感知到标记样本的信息。本次报告以增大图网络的感受野为出发点，介绍了我们在IJCAI2019上的最新工作。在这次分享会中：

我首先介绍了弱监督图节点分类的任务和存在的挑战；
接着分享了一些相关的经典论文；
最后介绍了我们最新的IJCAI 2019的工作H-GCN：, 通过引入粗化和还原操作，设计了层次化的对称图神经网络，分别用9层和11层的网络取得了SOTA的结果。当训练数据极少时，相比之前方法至少有6个百分点的精度提升。

2. 具体内容推文分享

第一部分：任务及挑战

图节点分类的任务如图1所示。在现实生活中，图数据无处不在，例如社交网络，知识图谱，蛋白质分子等。许多应用都需要分析每个节点的性质，图节点分类任务就是这样一个基础的任务：给定图数据中部分样本的标签，预测其他节点的类别。

图1

介绍图节点分类的一些挑战。主要包括：图数据的非欧式空间难以应用传统的深度学习方法；节点之间的关系错综复杂；实际应用中标注数据相比总体数据很稀少等。

第二部分：介绍图神经网络相关的一些经典论文，包括：GCN、GraphSAGE、GAT、Diffpool和Harp

图卷积神经网络的示意图如图2所示。每个节点通过邻域聚合的方式，把它的邻居节点的特征通过一定的方式聚合到一起，学出来中心节点的表达。一般而言，n层图卷积网络可以聚合n-hop内的所有邻居节点的信息。然而，传统的GCN，GraphSAGE、GAT等图卷积方法通常只有2到3层网络，因此每个节点只能获取有限的局部信息而无法感知全局信息，从而限制了模型的性能。

图2

设计层次化的深度图神经网络可以更好地捕获到全局信息。Diffpool通过学习的方式学习图上的“pooling”操作，但是它的每一层网络都需要一个辅助的链接预测的任务和一个正则项来约束学习过程。当神经网络加深时，这些额外的超参数可能会比较难调。Harp设计了一套coarsening（粗化）机制，先把图的规模逐层减小，然后在最小的图上通过Deepwalk等方法学出来每个超节点的表达，最后再逐层还原。但Harp不是端到端的模型，它是每一层上单独使用deepwalk进行训练。即后面的神经网络对前面网络的表达优化没有影响，当前面网络学习的表达不好时，后面的网络也会因此变差，容易造成误差累积。因此针对图节点分类任务设计一个端到端的层次图神经网络就显得非常有必要。

第三部分：介绍IJCAI 2019的工作H-GCN，论文地址: https://arxiv.org/abs/1902.06667 ,代码地址: https://github.com/CRIPAC-DIG/H-GCN (预计7月底之前公布)

图3

H-GCN的网络结构如图3所示，它是一个对称的网络结构：在图3的左侧，在每次GCN操作后，我们使用Coarsening方法把结构相似的节点合并成超节点，因此可以逐层减小图的规模。由于每个超点对应了原始图中的一个局部结构，对超节点组成的超图进行图卷积操作就可以获得更大的更大的感受野。对应地，在示意图的右侧，我们在每次GCN操作后将超节点进行还原，即可得到每个原始节点的表达。同时，我们在对称的神经网络层之间加了shortcut连接，从而可以更好地训练。

具体的coarsening方法如图4所示。

图4

为了验证H-GCN的有效性，我们在主流的节点分类任务上进行了测试，数据集包括引文数据集和知识图谱。分类结果如表1所示，H-GCN取得了SOTA的结果。一个有意思的发现是：相比在引文数据集上的效果，H-GCN在知识图谱数据集NELL上的精度远远超过其他baseline方法。这是因为在NELL数据集上的训练数据量最少（仅0.3%的标记率），这可以定性地说明H-GCN能有效的增大感受野，使节点感受到相距比较远的标记节点的标签信息。

表1

为了进一步定量验证H-GCN对模型感受野的增大作用，我们在Pubmed上逐渐减小训练数据量，从每类20个标记样本到每类仅5个样本，结果如表2所示。可以发现，当训练样本逐渐减少时，baseline的精度下降非常明显，而H-GCN却能保持很高的准确率。在每类仅5个样本时，H-GCN比其他方法至少高出6个百分点。这是个非常有用的性质，因为现实生活中由于海量的数据量和高昂的标记成本，我们通常没有太多的标记样本，而H-GCN更大的感受野可以更充分地利用标记样本的标签信息。

表2

相比于传统模型，H-GCN的一个特点是网络层数更深了，我们进一步分析了层数加深对性能的影响。如图5所示，当网络层数加深时，精度逐渐提升，但是当网络太深时，由于过拟合等原因，精度开始下降。在实验中，我们在引文数据集上使用了4层粗化层（对应的网络共有9层），在NELL数据集上使用了5层粗化层（对应的网络共有11层），这可能是由数据集的规模不同导致的。因为NELL的数据集最大，所以网络容量可以更大一点。

图5

3. 总结

图数据上的coarsening/pooling机制可以有效地增大模型的感受野，从而获取足够的全局信息。不同于传统的浅层图神经网络，我们提出了层次化的深度（分别为9层和11层）图卷积模型H-GCN，在节点分类任务上取得了SOTA的结果。特别地，在训练数据非常少的场景下，H-GCN的提升更为明显。

版权声明

原创文章，禁止私自转载

常建龙

脉冲神经网络与小样本学习

1. 引言

作为当下最受欢迎的机器学习方法之一，深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性，例如无法自动地设计网络结构、无法有效地学习无标签数据的特征、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此，我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能，例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。

图1：机器学习与深度学习中关系建模的不同体现，即网页检索中不同网页之间的关系、推荐系统中用户和商品之间的关系、神经网络中不同节点之间的关系。

2. 深度无监督学习 – 不同样本之间的关系

为了用深度学习模型更好地处理大量的无标签数据，我们通过研究两两样本之间的关系来处理聚类问题。通过逐渐确定同类和不同类的样本来训练网络，提出的DAC模型可以直接学习数据的高层语义特征进行聚类分析。从基本定义来看，聚类的目的是将相似的数据聚为同类，将不相似的数据聚为不同类。根据以上定义，我们通过讨论成对样本之间的相关性来将每个样本映射为one-hot的向量以实现聚类的目的。在实际中，该模型不仅可以处理多种数据的聚类任务，例如：图像，文本，音频等等，还有着很好的理论基础来保证模型的有效性。算法流程图如下图所示。

3. 非欧空间数据处理 – 不同特征之间的关系

由于局部输入的无序性和维度的可变性，传统卷积网络很难处理这种处于非欧几里得空间的数据。为了解决这个问题，时空大数据处理团队（STDAL）的常建龙博士、向世明研究员、潘春洪研究员等人提出了结构感知卷积神经网络来处理一般结构的数据，而不是仅局限于处理欧氏空间的数据。根据“数据=特征+结构”的基本假设，我们对传统卷积做了两个泛化来达到以上目的。第一，将离散的有限维卷积核泛化为连续的无穷维卷积核，即单变量函数；第二，将结构信息建模到卷积中。算法流程图如下图所示。大量的实验证明，结构感知卷积网络可以高效地在GPU上处理各种基于不同结构数据的任务，例如，图像分类和聚类、交通流量预测、分子活性预测等等。

4. 网络结构学习 – 不同层之间的关系

在网络结构学习中，我们将不同层之间的关系看作是一个选择不同层之间操作的多分类问题。由于类别数目无法确定，我们提出了集成的Gumbel-Softmax来搜索高性能的网络结构。由于Gumbel-Softmax可以有效并高效地用一种可微的方式来优化离散空间结构。我们集成的Gumbel-Softmax方法也可以保证搜索过程的可微性，并且可以最大化地保证网络结构在训练和测试过程中的一致性，使得模型的性能和效率可以同时得到可观的提升。算法流程图如下图所示。

版权声明

原创文章，禁止私自转载