呼奋宇:中国科学院自动化研究所智能感知与计算研究中心17级直博生,目前的主要研究方向是图数据挖掘。已发表IJCAI2019论文一篇。

报告题目:Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification
报告摘要:节点分类是图数据挖掘中一个重要而基础的任务,已有的工作通常使用图卷积网络(GCNs)学出每个节点的表达并最终分类。但是大多数主流的图神经网络层数比较浅(仅有两层或三层),而且缺乏“图池化”机制,这使得每个节点只能获取有限的局部信息而无法感知全局信息,从而限制了模型的性能。现实中,由于海量的图数据量和高昂的标注成本,我们通常面临的是一种半监督节点分类的场景(即标记数据很少,待预测的节点和标记节点通常距离较远),这更加要求模型有足够大的感受野来感知到标记样本的信息。本次报告将以增大图网络的感受野为出发点,介绍我们在IJCAI2019上的最新工作。
Spotlight:
通过对称的粗化(coarsening)和还原(refine)操作,设计了层次化的图神经网络,从而增大了模型的感受野。
在半监督条件下效果显著,在基准数据集上取得state-of-the-art的结果;当训练数据极少时,相比之前方法至少有6个百分点的精度提升。
常建龙:中科院自动化所在读博士。在2015年获得电子科技大学数学与应用数学专业理学学位,之后师从潘春洪和向世明研究员在中科院自动化所模式识别国家重点实验室攻读博士学位,主要研究方向为基于关系的深度学习,包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI(2篇), NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。
报告题目:基于关系的深度学习( Relation-based Deep Learning)
报告摘要:作为当下最受欢迎的机器学习方法之一,深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性,例如无法自动地设计网络结构、无法有效地降低网络中的参数冗余度、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此,我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能,例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。
Spotlight:
- 深度网络中关系的建模。
近年来,针对深度神经网络存在的局限性,用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日(周日),《SFFAI 33-图深度学习》两位主讲嘉宾(呼奋宇、常建龙)为大家精选了图深度学习在池化操作、归纳学习以及深度网络关系建模的几篇代表性工作,和大家一起分享最新的研究进展。
1. DeeperInsightsintoGraphConvolutionalNetworks forSemi-SupervisedLearning

推荐理由:Kipf和Welling提出的GCN是一个经典的工作,它可以近似看成是把一阶邻居节点求和,进而得到中心节点的表达。但是GCN模型仅有2层,当层数加深后精度会明显下降。这篇文章证明了GCN本质上是一种拉普拉斯平滑,它会使得同一个连通分量里的所有节点的表达变得相似。因此当层数加深时,会造成“过度平滑”,即同一个连通分量里的节点会变得很难区分。
2. Hierarchical Graph Representation Learning with Differentiable Pooling

推荐理由:这篇文章的想法很新颖,它的任务对对整体的图结构进行分类,为了得到全局的特征,它设计了一个层次化的图神经网络来逐层提取特征。本文提出了可微分池化的思想,对于每层神经网络得到的表达,它用学习的方式学出一个池化矩阵,并用该矩阵对每层得到的表达进行池化操作。
3. Hierarchical Representation Learning for Networks
推荐理由:这篇文章的出发点也是为了增大感受野,因此设计了粗化机制逐层减小图数据的规模。对于粗化后得到的最小的特征图,作者先使用了传统的无监督学习的方法,如DeepWalk,Line得到每一个节点的表达,这样学出来的表达可以更多地捕获全局信息。然后,再使用对应的还原机制把特征图逐层还原,在每一次还原后都使用无监督方法继续更新节点的表达。在不同的实验数据库上均表明所提方法的有效性。
4. Reltional Inductive biases, deep learning, and graph networks

推荐理由:2018年DeepMind和Google Brain提出的graph networks的一个统一架构,基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。
5. DARTS: DIFFERENTIABLE ARCHITECTURE SEARCH
推荐理由:DARTS是DeepMind和CMU的论文,被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同,本文的方法是基于将结构表示的松弛(relaxation),允许使用梯度下降高效搜索架构。在CIFAR-10,ImageNet,Penn Treebank和WikiText-2上进行了大量实验,表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构,同时比现有技术的非微分搜索技术要快几个数量级。
录播视频/推荐论文下载/讲者PPT登录后获取查看地址