直播时间:2022年3月13日(周日)20:00-21:00
杨洁:中国科学院计算技术研究所博士研究生,指导教师为高林副研究员与夏时洪研究员。研究方向包括计算机图形学,深度几何学习,几何处理等。本科毕业于四川大学数学系,获得理学学士学位。系列研究成果发表在计算机顶级期刊会议ACM SIGGRAPH\TOG、IEEE TPAMI、IEEE TVCG、NeurIPS和ICCV等。曾获得国家奖学金,时谛智能CAD&CG优秀学生奖,第四范式博士生奖等。
报告题目:结构化的深度生成模型
报告摘要:本工作得益于局部隐式场表示的灵活性和分层次递归表示的细节表达能力强的优势。通过将局部隐式场与每个八叉树节点单元相关联,解决了基于局部隐式场的几何建模和重建方法效率低下的问题。本工作提出的表示可以使用紧凑的存储对具有精细细节的大规模形状进行建模,并且可以用于表示具有任意拓扑的三维形状。随后,我们依据三维模型内在的多层级结构设计提出了相应的深度生成模型,引入了结构化的建模方法来对一般的三维人造模型进行表示建模。我们的深度生成模型可以对三维模型的几何细节和结构进行编码,并且可以合理的利用数据的分布进行模型插值和生成。
论文题目:OctField: Hierarchical Implicit Functions for 3D Modeling
分享亮点:
1. 本文提出针对3D表面的可学习的分层次隐式表示方法,可以用较低的内存和计算代价对复杂表面进行高精度的编码;
2. 本文提出的针对一般三维模型结构化表示,可以将三维模型的几何和结构进行解耦;
3. 本文介绍的方法可以处理任意拓扑的三维模型和场景。
1. StructureNet: Hierarchical Graph Networks for 3D Shape Generation [Mo et al.]
这篇发表在SIGGRAPH Aisa 2019的文章通过层次化的图结构描述了人造物体的语义结构,在此基础上使用递归神经网络构建了一个针对三维形状的自编码器,进而实现对三维形状的生成。
2. Learning adaptive hierarchical cuboid abstractions of 3D shape collections. [Sun et al.]
这篇发表在SIGGRAPH Aisa 2019的文章尝试了使用无监督方法学习分层零件分解,将三维形状层次渐进地表示为长方体的组合。
3. Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images [Wang et al.]
这篇发表在ECCV2018上的文章利用对一个三角形网格模板进行变形来表达各种不同的三维模型,实现了从图片到三维网格的重建。不足之处是,由于作为模板的三角形网格拓扑固定,所以仅通过变形无法正确逼近具有不同拓扑的三维模型,限制了该方法的效果。
4. Adaptive O-CNN: A Patch-based Deep Representation of 3D Shapes [Wang et al.]
这篇发表在SIGGRAPH Asia 2018的论文提出了一种基于自适应八叉树的卷积神经网络,用于高效的三维形状编码和解码。该方法以相同的分辨率表示具有体素的3D形状,以不同级别的八叉树细分自适应地表示3D形状,并使用平面面片在每个octant内建模3D表面。
5. Occupancy Networks: Learning 3D Reconstruction in Function Space [Mescheder et al.]
这篇发表在CVPR 2019的论文是神经隐式场表示的早期尝试之一,神经网络学习坐标到坐标点在boundary surface内部或外部的映射来表示三维形状。
6. Local Implicit Grid Representations for 3D Scenes [Jiang et al.]
这篇论文的原理主要是在整个场景中,在固定大小的grid分割下,里面的3D表面可能具有相同的几何细节。于是,在规则划分空间后,在局部使用神经隐式场可以表达重建整个场景。文章发表在CVPR2020上。