谢楚琳:伊利诺伊大学厄巴纳香槟分校计算机系博士生,主要研究方向为机器学习、对抗鲁棒性、三维视觉,目前已在 ICML、CVPR、ICLR 等会议上发表论文。
报告题目:用于点云补全的基于样式和对抗性渲染的点云生成器
报告摘要:在本文中,我们提出了一种基于样式和对抗性可微分渲染的点云生成器(SpareNet)用于点云补全。首先,我们提出了基于通道注意力的EdgeConv,以充分利用点云特征的局部结构和全局形状。其次,我们观察到基于折叠(Folding)的点云生成方法中拼接(concatenation)的操作限制了其生成复杂且真实形状的潜力。受到StyleGAN的启发,我们将形状特征视为样式码,在折叠过程中用其调节归一化层,这大大增强了生成器的表达能力。第三,我们意识到现有的点云监督,例如倒角距离(Chamfer Distance )或推土机距离(Earth Mover’s Distance),不能如实地反映重建点云的视觉质量。为了解决这个问题,我们使用可微分渲染器将补全的点云投影到深度图,并应用对抗性训练来提高不同视角下的视觉真实性。ShapeNet和KITTI上的大量实验证明了我们方法的有效性,该方法实现了最先进的量化性能,同时提供了卓越的视觉质量。
论文题目: Style-based Point Generator with Adversarial Rendering for Point Cloud Completion
分享亮点:
1、我们提出了基于通道注意力的EdgeConv,以充分利用点云特征的局部结构和全局形状;
2、我们将形状特征视为在折叠过程中调节归一化层的样式码;
3、我们提出使用可微分渲染器将补全的点云投影到深度图,并应用对抗性训练来提高不同视角下的视觉真实性;
4、我们实现 SOTA 定量性能,同时提供卓越的视觉质量。
1. FoldingNet Point Cloud Auto-encoder via Deep Grid Deformation
推荐理由:这篇论文(FoldingNet)首次提出用 2D 流形来表示 3D 点云,这也启发了其他人将目标点云建模为 2D 网格的非线性折叠。
2. PCN:Point Completion Network
推荐理由:PCN是第一篇点云补全的文章。基于FoldingNet的折叠(folding)的思路,PCN通过预测2D网格的非线性折叠以生成3D点云。此非线性折叠由MLP来实现。
3. Approach to Learning 3D Surface Generation
推荐理由:AtlasNet 是基于PCN的思路,以多个2D网格非线性折叠形成的3D参数化表面元素的集合表示完整的点云。
4. TopNet Structural Point Cloud Decoder
推荐理由:这篇论文提出了一种层次树状结构的解码器(TopNet),可以生成结构化的点云。该树状结构的解码器由多层级的MLP实现,比起单个MLP的解码器拥有更强的网络表达能力。
5. Morphing and Sampling Network for Dense Point Cloud Completion∗
推荐理由:这篇论文提出了一种分两个阶段完成点云补全的方法(MSN)。MSN把AtlasNet的非线性折叠生成方法作为第一阶段,预测一个完整但粗粒度的点云,即一组参数化表面元素。然后,在第二阶段,它通过一种新颖的采样算法将粗粒度预测的点云与输入点云合并,生成细粒度的点云。
6. GRNet Gridding Residual Network for Dense Point Cloud Completion
推荐理由:不同于之前基于折叠的点云补全方法直接处理点云数据, 这篇论文引入了 3D 网格作为中间表征来规范无序点云,并提出了一种新的网格化残差网络(GRNet)来做点云补全。