高乃钰:中国科学院自动化研究所在读博士,主要研究方向为图像分割。
报告题目:基于亲和度金字塔的实例分割
报告摘要:自下而上的实例分割方法通常生成实例无关的语义分割标签和实例感知特征,从而将像素分组为不同的对象实例。先前的方法大多对这两个子任务分别采用单独的模块,在测试阶段需要进行多次前馈,缺乏效率。同时之前的方法在性能上也大大低于自上而下的方法。为此,这项工作提出了一种自下而上的实例分割方法,该方法仅需进行一次前馈就能得到实例分割结果。我们的方法基于像素对亲和度金字塔,层级式地计算了两个像素属于同一实例的概率。此外,结合学习到的亲和度金字塔,我们提出了级联图分割模块,以高效地融合两部分输出并最终实现对实例的分割。该方法在Cityscapes数据集上实现了最先进的性能。
Spotlight:
基于亲和度金字塔的自下而上实例分割方法;
图分割模块的加速优化方案。
1. PersonLab Person Pose Estimation and Instance Segmentation with a Bottom-Up,Part-Based, Geometric Embedding Model
推荐理由:该工作以及后续的DeeperLab,Panoptic-DeepLab通过物体关键点加空间偏移向量的方式建模实例分割问题,在多个公开数据集上取得了不错的性能。
2. Instance Segmentation by Jointly Optimizing Spatial Embeddings and Clustering Bandwidth
推荐理由:该工作通过联合优化空间偏移向量和聚类带宽实现了较好的实例分割性能。其中,基于可学习的聚类带宽实现尺度归一化,以及基于Lovasz-hinge 损失实现端到端训练均具有借鉴意义。
3. Object as Distribution
推荐理由:该工作从物体表征方式(包围框、多边形、像素等)的角度分析了物体检测与分割算法,并提出使用二元正态分布作为更加鲁棒的物体表征。其中对于多种物体表征方式优劣势的分析具有借鉴意义。