Superpixel Based RGB-D Image Segmentation Using Markov Random Field——阅读笔记

时间:2022-12-16 12:44:28

1、基本信息

题目:使用马尔科夫场实现基于超像素的RGB-D图像分割;

作者所属:Ferdowsi University of Mashhad(Iron)

发表:2015 International Symposium on Artificial Intelligence and Signal Processing (AISP)

关键词:微软Kinect传感器;RGB-D图像分割;MRF;法向量

2、摘要

针对问题:能量最小化;

使用场景:室内场景标签问题(分割、分类等);

主要数据:微软Kinect获得的带有距离信息的图像数据;

主要方法:基于色彩和距离变化对原图进行超像素预处理,使用图像模型处理超像素块,并用MRF推断得到最后的标签结果;

主要结果:NYU的数据,效果更好;

可取与差异:图像模型如何套用在预处理结果的,以及MRF的带入?SAR图像可以得到距离信息,但是否有必要?效率和质量上有没有可取之处?

3、Introduction

--distance,距离因素相比其他rgb等信息,收到的干扰要小/少一点;同样也是因为运用了距离信息进行了超像素预处理(当然也用了色彩的信息),比其他效果要好;

--本文把分割问题看作是一个随机优化问题(另一种常见的看法是该问题是一个确定的优化问题);

--随机优化又有两种模型:图像模型和其他非图像的模型(用参数或非参的方法得到后延概率);本文使用著名的后验概率图像模型——MRF——来最小化势能量函数,以得到每个超像素的全局的最优标签;

4、Related works

略。(与自己研究相关的少,主要是3D图像的处理问题,针对性太强,适用面窄,又需要再看吧)

5、MRF

--labeling问题:最大化后验概率p(L|f),在f特征下的L的最大化——》利用贝叶斯公式,得到=p(f|L)*P(L)/P(f),P(f)是个常数,分析中可以忽略掉;P(f|L)等于是似然函数,P(L)用gibbs分布等于到u能量函数,再变为势函数——》所以,标签问题由求标签的最大后验概率,变为求最小势能函数之和(或最小能量函数,这就是个名字)——》若后验概率假设是高斯分布的,得到式子后,v变为potts模型(似乎是本文采用的模型)

--这里,最后的势函数是所谓的order2势函数,反应了图中相邻标签的关系;之前的势函数反应的是单一像素/超像素在图中的关系。(?)

6、三边的深度去噪(?)

提出了一种针对性的去噪方法,但没怎么看懂——不过自己的研究中,因为针对的是高分辨率的图像,且强调速度的实现,这里跳过。

7、Proposed Method

7.1 超像素提取方法

--是很重要的一步,影响最终结果很多(同);

--针对labcie彩色空间的canny边缘检测方法和针对深度(距离)信息的相邻像素法向量的cos夹角方法;

--也就是说,文中是用这两种边缘检测方法得到边缘,然后将得到的分割后的块作为下一步处理的超像素(也就是说,大小形状不定);(这里倒是提供了一种超像素的思路,由边缘检测等其他方法得到,自己定义超像素亦可,只要服务于我!!)

7.2 能量函数(?)

--这里没有太懂:order3势函数也有了,表示两个相邻像素的order2势函数的集合(?);

7.3 最小化(势函数)方法

--已经有很多(成熟的)方法:ICM,Graph Cut,梯度下降,a-expansion, a-beta-swap and message passing based method;

--本文采用的是一种MRF方法,具体是把原始问题分解为sub(亚)问题——变成主从系列的问题,仆一个一个解决,让主不断更新到最后的结果;起了个算法名字:快速原始对偶算法(Fast Primal Dual Algorithm);

8、实验结果

--具体的就不多说了,毕竟不是很一样,谈谈可取之处;

--数量:30个场景/图片;

--评判方法:与the Hoover method对比(公认的一些方法),以及其他成熟方法;三个指标(correct detection,noise instances,missed instances)作图展示!

9、Conclusion

--利用几何信息(这里特指深度/距离信息)增强分割结果;

--具体实现的方法是利用MRF原理,把信息“加载”到能量函数中去;

--在预处理阶段(得到超像素),利用了彩色边缘和几何(深度)边缘来做检测的;

--适用于high level图像处理问题,以及机器人导航问题(用kniect);

10、Future works

--更好的分割结果;

--现有或前次分割结果的利用;每次迭代后标签的反馈信息;

11、参考文献

[9] Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurélien Lucchi,Pascal Fua, Sabine Süsstrunk: S L IC Superpixels Compared to Stateof-the-Art Superpixel Methods. IEEE Trans. Pattern Anal. Mach.Intell. 34(11): 2274-2282 (2012).

[31] Komodakis, N., Paragios, N., Tziritas, G., "MRF Energy Minimization and Beyond via Dual Decomposition," Pattern Analysis and Machine Intelligence, IEEE Transactions on , vol.33, no.3,pp.531,552, March 2011.

[32] Chaohui Wang, Nikos Komodakis, Nikos Paragios, "Markov Random Field modeling, inference & learning in computer vision ; image understanding", A survey, Computer Vision and Image Understanding, Volume 117, Issue 11, Pages 1610-1627, ISSN 1077-3142, 2013.94

12、个人总结

--获得超像素的方法,不死板,对超像素定义的理解更深入;

--运用MRF的能量函数的变化,来实现所谓的“基于”;

--没有讲具体怎么实现的问题由大化小的,对超像素块的操纵还是不灵光...