泡泡图灵智库，带你精读机器人*会议文章
标题：SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation
作者：Weiyue Wang，Ronald Yu，Qiangui Huang，Ulrich Neumann
来源：CVPR2018
编译：博主
欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
大家好，今天带来的文章是：SGPN：用于3D点云实例分割的相似群建议网络，该文章发表于CVPR2018。
本文提出了相似群建议网络（SGPN），它是一个简单直接的深度学习框架，用于三维点云的实例分割。
SGPN使用单个网络来预测点云聚类和每个聚类对应的分割结果，最后即可直接得到实例分割结果。本文提出了相似矩阵，其表示的是每对点在嵌入特征空间中的相似度。在SGPN中也使用了该相似矩阵，将其用于表达实例分割的结果，一方面提高了SGPN的效率，另一方面也能提供精度更高的聚类分割结果。
截止本文发表时，SGPN是三维点云上第一个实例分割网络。为证明SGPN的性能，本文在多个3D数据集上测试了其分割效果，并探索了如何提高SGPN的性能。最后，本文还尝试整合2D CNN网络来测试了SGPN的可扩展性，并得到了更好的实例分割结果。
主要贡献
1）提出了一套端到端的三维实例分割网络SGPN,并保证了其直观、简单、可扩展和效率；
2）创新式的使用相似矩阵来在三维点云中表达实例分割结果，一方面提高了SGPN的效率，另一方面也能提供精度更高的聚类分割结果。
算法流程
图1：展示了SGPN网络的整个流程。首先使用PointNet/PointNet++来获取点云的特征，然后在特征的基础上计算三个属性矩阵相似矩阵、置信度矩阵和语义分割矩阵，最后将所有结果整合即可得到实例分割结果。
相似矩阵
相似矩阵是一个Np×Np的矩阵，其中i行j列的元素表示的是点Pi和Pj的是否属于同一个分割实例。通常而言，同一个分割实例中的点的相似度更高，即特征向量的距离更近。换句话说，属于同一类别但是不同实例的点云的距离也较远。图2右下角的可视化结果中，虽然所有的桌腿都属于同一个分类结果，但是他们属于不同的分割实例，因此点云的距离也较远。 
图2展示了SGPN中的相似矩阵的一个可视化结果，表示了一个指定点到其余点的距离。红色箭头处表示的是指定点的位置，点云的颜色表示相似度，黑色表示你距离较近。
置信度矩阵
置信度矩阵的主要目的是反映每一个聚类是一个正确分割实例的可信度。在训练阶段，置信度矩阵来自于相似矩阵；但是在使用阶段，置信度矩阵和相似矩阵都是则同时计算。 
图3：可视化了置信度矩阵，颜色越深表示可信度越高，而实例相交处的颜色则较浅.
语义分割矩阵
语义分割矩阵是一个基于点的分割器。经过PointNet求取特征后分割成Nc个类别，最终输出一个Np×Nc的语义分割矩阵。
聚类合并
直接通过相似矩阵生成的聚类结果会存在较多的噪声和重叠。本文通过去除一些置信度较低的聚类结果，并进一步使用极大值抑制等方法最终得到一个噪声较低和没有重叠的聚类结果。
当聚类完成后，每一个点都会属于某一个实例。但是在两个实例的相邻区域，点则可能属于两个实例；本文的方案就是将该点随机设置为某一个实例。
主要结果
为验证SGPN的性能，本文总共在S3DIS、NYUV2和ShapeNet三个数据集上测试了本文算法的性能，并同时探索了如何提高SGPN的性能，并且实验了整合2D-CNN来提高SGPN的性能。
S3DIS
S3DIS全称斯坦福三维室内分割数据集(Stanford 3D Indoor Semantics Dataset)，该数据集包括6个场景中271个房间的扫描数据。点云中的每一个点都指定了分割类别和实例类别。 
图4：展示了SGPN在S3DIS上的结果。(a)是实例分割的真实结果，不同的颜色表示不同的实例，(b)是SGPN的实例分割的结果，(c)是Seg-Cluster的实例分割结果，(d)是分割的真实结果，(e)是SGPN的语义分割结果。
NYUV2
NYUV2中的部分数据集来自于RGBD图像，该数据中有2D语义分割和3D包围盒。在本文的训练中，将其分成了795张训练数据和654张测试数据。 
图5：展示了SGPN在NYUV2上的实例分割结果。(a)是输入点云，(b)是真实实例分割结果，(c)是SGPN的分割结果，(d)是将SGPN与2D CNN整合得到的结果。
ShapeNet
ShapeNet包含16881个标记目标，总共被分为50类。在本文的训练中，将795个用于训练，654个用于测试。 
图6：(a)实例分割的真实结果，(b)SGPN的实例分割结果，(c)PointNet++的语义分割结果，(d)SGPN的语义分割结果。
结论
本文提出了SGPN框架用于三维点云的实例分割，该框架具有直观、简易和可扩展等许多优良特性。在未来，作者将继续推进研究，解决高内存、全自动分割等等问题。
