三维形状的部件拼装，是计算机视觉、图形学领域的基本问题。三维部件拼装在数学上可以形式化为对于各个输入部件的位姿估计问题，即给定各个部件在各自规范空间中的布局，目标是组成一个完整的形状。三维部件拼装有着很广泛的应用，比如从家具城买回来一堆家具的部件，或者工厂当中有一堆杂乱摆放的零件，这时候则需要机器人把这些零散的部件组装成完整的、可供使用的整体。本期我们邀请到北京大学的詹冠其同学，分享他在NeurIPS2020上发表的此方向的工作。
詹冠其：北京大学图灵班本科生。目前已经在NeurIPS等会议或者期刊上发表论文。
报告题目：生成式的基于动态图网络学习的三维部件拼装
报告摘要：Autonomous part assembly is a challenging yet crucial task in 3D computer vision and robotics. Analogous to buying an IKEA furniture, given a set of 3D parts that can assemble a single shape, an intelligent agent needs to perceive the 3D part geometry, reason to propose pose estimations for the input parts, and finally call robotic planning and control routines for actuation. In this paper, we focus on the pose estimation subproblem from the vision side involving geometric and relational reasoning over the input part geometry. Essentially, the task of generative 3D part assembly is to predict a 6-DoF part pose, including a rigid rotation and translation, for each input part that assembles a single 3D shape as the final output. To tackle this problem, we propose an assembly-oriented dynamic graph learning framework that leverages an iterative graph neural network as a backbone. It explicitly conducts sequential part assembly refinements in a coarse-to-fine manner, exploits a pair of part relation reasoning module and part aggregation module for dynamically adjusting both part features and their relations in the part graph. We conduct extensive experiments and quantitative comparisons to three strong baseline methods, demonstrating the effectiveness of the proposed approach.
Spotlight：
- 本文提出了一种更为实用的部件拼装任务设定：每个部件的几何形状都是给定、不能更改的，机器人不知道关于整体形体的任何先验知识，并且需要预测每个给定输入部件的包括旋转、平移在内的六自由度位姿。
- 本文揭示并分析了动态图网络学习相比于静态图网络的优越性
- 本文为分析“机器是如何学习的”提供了启示
推荐理由：这篇论文是图网络attention机制的一篇非常fundamental的工作。
推荐理由：这篇工作是三维几何学习领域非常重要而基础的一篇工作，相当于“三维的conv”，可以用于提取三维点云的特征。
推荐理由：这篇论文应用了动态图卷积网络对于三维点云做了一个很好的学习，图网络的边的权重可以根据结点的特征进行调整，从而很好地实现分类、分割等多种任务。
推荐理由：这篇论文根据给定的家具的树状图的结构，生成各种各样的可能的家具。
推荐理由：这篇论文应用了GRU的结构，实现了顺序式的部件生成与拼装。
推荐理由：这篇论文通过自监督学习的模式，实现了三维表示学习，可以运用到场景理解、语义分割、物体探测等一系列下游任务。
录播视频 / 推荐论文下载 / 讲者PPT 登录后获取查看地址