点云识别的鲁棒特征学习算法 / 三维点云分析中的几何关系学习

SFFAI

1️⃣ 讲者介绍

饶永铭：2018年于清华大学电子工程系获工学学士学位，现为清华大学自动化系一年级直博研究生。研究方向为计算机视觉和深度学习。他在计算机视觉和机器学习领域会议CVPR，ICCV，NeurIPS和期刊TPAMI，IJCV共发表论文8篇。他还担任多个期刊和会议的审稿人，曾获得商汤本科生奖学金。

报告题目：Robust Feature Learning for Point Cloud Recognition

报告摘要：近些年来来，随着以PointNet为代表的深度点云处理模型的兴起，点云识别领域取得了巨大的进展。然而，点云识别方法仍然面临着旋转鲁棒性不足、难以学习点云局部几何结构等问题。在本次分享中，我们将回顾为3D物体识别设计鲁棒性学习方法，以及我们在CVPR2019上发布的新工作：“Spherical Fractal Convolutional Neural Networks for Point Cloud Recognition”。在这个工作中，我们设计了新的网络框架，成为球面分形卷积神经网络（SFCNN）。我们的设计成功将球面卷积应用于直接处理点云数据，并利用分形结构设计了层次化的网络结构，将图片识别中的空间卷积、池化、残差结构等成功技术应用于点云识别中。同时，旋转对称结构使得我们的方法能够实现旋转鲁棒的特征学习，并实现超过先前工作的旋转不变性和泛化能力。

Spotlight：

应用于3D物体识别的鲁棒特征学习的总结和分析；
新的框架：球面分形卷积神经网络。

2️⃣ 讲者介绍

刘永成：中科院自动化所，模式识别国家重点实验室15级在读博士，研究兴趣包括三维点云处理、图像分割、场景分类等。以第一作者在CVPR、ACM MM等国际会议上发表论文3篇，国际顶级期刊上发表论文1篇。以第一完成人获国际图像分割竞赛冠军1次，国内目标检测竞赛亚军、季军各一次。

报告题目：Geometric Relation Learning in 3D Point Cloud Analysis

报告摘要：三维点云来自距离度量空间，这意味着每一个点并非孤立存在，相邻的点形成一个有意义的几何形状。因此，对点间几何关系进行建模非常重要。本次分享将回顾近年来使用深度学习进行点间关系学习的经典论文，并介绍我们的CVPR 2019 Oral工作“Relation-Shape Convolutional Neural Network for Point Cloud Analysis”。我们提出了一种几何关系卷积方法，并用该卷积搭建了一个关系形状卷积神经网络，简称RS-CNN。RS-CNN在三个主流的点云分析任务上均取得了SOTA，同时也具有很好的鲁棒性。并且，RS-CNN不仅能够在三维空间中学习几何关系，还能从二维投影空间中推理几何形状。

Spotlight：

回顾点间关系学习的经典论文。
CVPR 2019 Oral工作：RS-CNN。

3️⃣ 论文推荐

推荐理由：该工作发表于CVPR 2018。主要思路是将不规则的点云数据投影到规则的高维网格中，并使用稀疏双边卷积（sparse bilateral convolutional）实现高维网格中的特征学习。该工作通过引入高维网格空间，使得视图和点云的联合学习和推断成为可能，非常值得一读。

推荐理由来自：饶永铭

推荐理由：该工作发表于ECCV 2018。该工作使用球面投影的方法将表示为3D物体表示在球面上，并利用谱域卷积进行特征学习，以得到旋转不变的特征。该工作重新引发了对3维模型旋转鲁棒性的关注，方法十分新颖，非常推荐阅读。另外，同期还有ICLR 2018最佳论文之一的“Spherical CNNs”也提出了类似的方法，同样值得一读。

推荐理由来自：饶永铭

推荐理由：该工作发表于NIPS 2016。在传统卷积网络中，训练后的卷积滤波器权重固定不变。这篇工作提出了一个新卷积框架（图1），在测试阶段，卷积滤波器的权重根据输入数据而动态生成。该卷积框架在视频预测、图数据处理等领域具有非常广泛的应用，尤其是图数据处理，多篇顶会论文的核心idea均来自于此。强烈推荐大家阅读该论文，择需调研引用该论文的文章，相信会受益匪浅。

推荐理由来自：刘永成

推荐理由：该工作发表于CVPR 2017，受到“Dynamic Filter Networks”的启发，提出了一个新颖的图卷积网络，并且第一个将图卷积应用于点云分类。该工作在点云上构建图，将每一个三维点作为图顶点，用三维点坐标定义边属性。卷积滤波器的权重根据输入的三维点以及边属性动态生成，捕获图结构信息，整个流程简单来说就是三维点—图—边属性—卷积权重。该工作构建的图卷积不受图数据不规则性的影响，同时满足卷积操作的范式，非常值得一读。

推荐理由来自：刘永成

推荐理由：该论文于2018年1月就挂在arXiv上，到现在仍未正式发表，但其重要价值不可忽略。该工作也是构建图卷积网络，但动机非常直观：在点云学习中，高维特征空间中邻近的点，其在原始三维空间中所处的局部形状结构也应该相似。基于此，该工作在特征空间中寻找近邻点构建图网络。由于每一层的特征都不同，于是所构建的图在动态变化，因此称为动态图卷积。此外，为了捕获点间关系，该工作提出边缘卷积，即对由每一层特征所构建的边特征进行卷积。这篇论文idea新颖直观，方法简单有效，推荐阅读。

推荐理由来自：刘永成

录播视频 / 推荐论文下载 / 讲者PPT 登录后获取查看地址

此内容登录并刷新后可见

刘永成

Geometric Relation Learning in 3D Point Cloud Analysis

导读

近年来，卷积神经网络（CNN）在图像这类规则数据的处理中获得了举世瞩目的成功，然而如何拓展CNN以分析点云这种不规则数据，仍然是一个开放的研究问题。对于点云而言，每一个点并非孤立存在，相邻的点形成一个有意义的形状，因此对点间关系进行深度学习建模非常重要。在SFFAI25分享会中：

我首先介绍了点云分析的任务以及难点，由此引出了深度学习关系建模的合理性；
接着分享了一些相关的经典论文；
最后介绍了我们最新的CVPR 2019 Oral工作：Relation-Shape CNN, 通过几何关系卷积将2D CNN拓展至3D点云分析领域。

具体内容推文分享

第一部分：任务及挑战

介绍点云分析的一些任务，如下图所示。在现代应用中，大部分应用都需要对点云所隐含的3D形状有一个高级别的语义理解，比如点云分类、目标检测和场景理解等。相比于传统方法，以CNN为代表的深度学习方法更加擅长对物体进行语义级别的理解。

介绍点云分析的一些挑战，如下图所示。主要包括：点云的置换排列不变性、刚体变换语义不变性、传感器等因素引起的损坏、异常值和各种噪声。

第二部分：介绍一些相关的经典论文，包括：PointNet(++)、DFN、ECC和DGCNN。

第三部分：介绍CVPR 2019 Oral工作Relation-Shape CNN，arXiv: http://arxiv.org/abs/1904.07601

RS-CNN的基本卷积算子如图2所示。为了实现局部卷积归纳学习，我们将局部点云子集 [imath]P_{\text {sub }} \subset \mathbb{R}^{3}[/imath] 建模为一个球形邻域，该邻域的中心点为采样点 [imath]x_i[/imath] ，其余点作为 [imath]x_i[/imath] 的邻居点 [imath]x_{j} \in \mathcal{N}\left(x_{i}\right)[/imath] 。在该邻域上，我们构建了一个一般性的卷积操作方法：

[math]\mathbf{f}_{P_{\text {sub }}}=\sigma\left(\mathcal{A}\left(\left\{\mathcal{T}\left(\mathbf{f}_{x_{j}}\right), \forall x_{j}\right\}\right)\right), d_{i j}<r \forall x_{j} \in \mathcal{N}\left(x_{i}\right)(1)[/math]

其中 [imath]x[/imath] 是三维点， [imath]f[/imath] 是特征向量， [imath]d_{ij}[/imath] 是点 [imath]x_i[/imath] 和 [imath]x_j[/imath] 的3D欧式距离， [imath]r[/imath] 是球半径。卷积结果 [imath]f_{P_{sub}}[/imath] 通过首先使用函数 [imath]\mathcal{T}[/imath] 对邻域中每一个点进行特征变换，然后使用函数 [imath]\mathcal{A}[/imath] 聚集变换后的特征，最后经过非线性 [imath]\sigma[/imath] 激活后获得。注意到仅当 [imath]\mathcal{A}[/imath] 是对称函数，并且函数 [imath]\mathcal{T}[/imath] 对邻域中每一个点均共享参数时， [imath]f_{P_{sub}}[/imath] 对输入点的顺序具有置换不变性。

在经典网格卷积中，特征变换函数实现为 [imath]\mathcal{T}\left(\mathbf{f}_{x_{j}}\right)=\mathbf{w}_{j} \cdot \mathbf{f}_{x_{j}}[/imath] ，其中 [imath][/imath] 为可学习的卷积权重，· 表示按元素相乘。该卷积方法在点云数据上操作时会有两个缺陷：
1）由于 [imath]w_j[/imath] 不共享参数，因此该卷积对输入点集不具备置换排列不变性。
2）在反向传播中 [imath]w_j[/imath] 的梯度仅与孤立点相关，因此该卷积难以捕捉到点间关系。

为了克服上述问题，我们将卷积转换为从几何关系中学习。在方法上，我们将 [imath]w_j[/imath] 替换为 [imath]w_{ij}[/imath] ，并让 [imath]w_{ij}[/imath] 从几何关系向量 [imath]h_{ij}[/imath] 中学习一个高维的映射函数 [imath]\mathcal{M}[/imath] 。 [imath]h_{ij}[/imath] 是预先定义的点 [imath]x_i[/imath] 和 [imath]x_j[/imath] 之间的几何先验。该过程可以描述为：

[math]\mathcal{T}\left(\mathbf{f}_{x_{j}}\right)=\mathbf{w}_{i j} \cdot \mathbf{f}_{x_{j}}=\mathcal{M}\left(\mathbf{h}_{i j}\right) \cdot \mathbf{f}_{x_{j}}(2)[/math]

其中映射函数 [imath]\mathcal{M}[/imath] 的目标是从几何先验中学习一个高维的、有表现力的关系表达，以编码3D点集的空间布局，这里我们使用共享的多层感知器（MLP）来实现映射函数 [imath]\mathcal{M}[/imath] 。以这种方式， [imath]w_j[/imath] 巧妙地转换为 [imath]w_{ij}[/imath] ，它的梯度由预定义的几何先验 [imath]h_{ij}[/imath] 决定，且与点 [imath]x_i[/imath] 和 [imath]x_j[/imath] 均几何相关。于是，公式（1）中的 [imath]\mathrm{f}_{P_{\mathrm{sub}}}[/imath] 变为：

[math]\mathbf{f}_{P_{\text {sub }}}=\sigma\left(\mathcal{A}\left(\left\{\mathcal{M}\left(\mathbf{h}_{i j}\right) \cdot \mathbf{f}_{x_{j}}, \forall x_{j}\right\}\right)\right)(3)[/math]

该卷积方法聚集了点 [imath]x_i[/imath] 和所有邻居点 [imath]x_{j} \in \mathcal{N}\left(x_{i}\right)[/imath] 之间的几何关系表达，因此可以对3D点的空间分布进行显式的推理，进而有区分力的反映其隐含的3D形状。其中几何先验 [imath]h_{ij}[/imath] 可以灵活设置，因为映射函数 [imath]\mathcal{M}[/imath] 能将 [imath]h_{ij}[/imath] 映射为高维的关系向量，以实现与特征 [imath]\mathbf{f}_{x_{j}}[/imath] 进行通道对齐。在经典图像CNN中，随着图像分辨率的降低，特征通道数会逐渐增加以提升表达能力。基于此，我们在 [imath]f_{P_{\mathrm{sub}}}[/imath] 上增加共享的MLP以实现通道提升映射。

图3为经典2D网格卷积的示意图。注意到 [imath]w_j[/imath] 总是隐含着 [imath]x_i[/imath] 和 [imath]x_j[/imath] 的一个固定位置关系，也就是说， [imath]w_j[/imath] 在学习过程中受到了限制，实际上编码了一种规则的网格关系。因此，我们所提出的关系卷积方法具有通用性，它也能够建模经典的2D网格卷积。

为了验证RS-CNN的有效性，我们在主流的点云分析任务上进行了测试，包括点云分类、部件分割和法向预测。ModelNet40上的分类结果如表1所示，在仅使用3D坐标XYZ和1k个稀疏点作为输入的情况下，RS-CNN仍然实现了最佳分类效果。

ShapeNet part上的分割效果如图6所示。尽管点云所形成的形状多种多样，并且很容易产生混淆，RS-CNN依然可以准确地将部件分割出来。

ModelNet40上的法向预测结果如图7所示。与PointNet以及PointNet++相比，RS-CNN可以取得更加准确的法向预测结果。尽管如此，RS-CNN仍然难以有效推理棘手的形状，比如旋转楼梯以及错综复杂的植物。

公式（3）中的几何先验 [imath]h_{ij}[/imath] 可以灵活地定义，我们在ModelNet40上测试了五个比较直观的例子，结果如表6所示。可以看到，仅仅使用3D欧式距离作为低维几何关系（model A），RS-CNN依然能够取得92.5%的精度，这很让人印象深刻。此外，为了测试RS-CNN的几何形状推理能力，我们强制置零某一维的坐标值，即将3D点云投影到2D空间（model E，图9），得到的分类精度均接近92.2。这证明了RS-CNN不仅可以从3D点云中学习3D形状，还能从2D投影空间中推理3D形状。

为了验证所提出的几何关系卷积的鲁棒性，我们设置几何先验 [imath]h_{ij}[/imath] 为3D欧式距离，然后在ModelNet40上进行鲁棒性测试，结果如表7所示。虽然几何关系 [imath]h_{ij}[/imath] 能够做到旋转不变，但网络初始输入的特征XYZ仍然会受到旋转的影响。针对这一问题，我们引入法向将每一个局部点集旋转到以法向和采样点确定的局部坐标系中，实现了旋转不变。但该旋转会给形状识别带来困难，因此分类精度会有所下降。

版权声明

原创文章，禁止私自转载