论文笔记 Generative Face Completion

时间:2024-09-20 16:34:14

这篇paper将巧妙地将四个loss函数结合在一起,其中每一个loss的功能不同。但这篇paper不够elegant的地方也是loss太多!在本文中,我采用散文的写作方法谈谈自己对这篇paper的理解,其实质就是“想到哪,写到哪!”

 

论文笔记 Generative Face Completion

如上图所示,(a)输入图像;(b)用随机square模板遮住输入图像一部分;(c)复原得到的图像。理想状态下,我们希望复原出的图像与输入图像完全一致(视觉上 and 语义上)。哈哈,这个不是很简单吗,我们可以用L2范数regularize输入图像与输出图像,理想状态下,输入图像与复原出的图像完全一致!恭喜你,回答正确!作者也这样试了试,结果如Figure 3 (c)所示。

论文笔记 Generative Face Completion

哎呀!理想与现实差距有点大哦!仔细观察一下Figure 3 (c),我们可以得出结论:复原结果模糊、复原得到的patch有点像、复原patch的边缘清晰可见。其实,这个也很好理解,L2范数倾向于去平均,这样会丢失很多高频、低频信息,使得图像较为模糊、细节丢失。简而言之,复原图像与真实图像差距有点大!换句话说,就是复原图像看起来不真实!

这时候我脑海中浮现出一个概念,GAN的判决器不就是判定随机噪声生成图像(或者patch)是否真实的吗?哈哈,我们可以把这个思路搬过来哦!如果判决器判断不出来复原的图像是否是原图,这不就表明,复原得到的图像与原始图像一致吗?当然了,L2 loss还是必须的(可以理解为一个多任务学习)。说干就干,我直接判断生成的patch的是否真实,于是得到了Figure 3 (d)。看起来比之前好多了哦!细细看来,发现这个图片不是很真实,生成的patch在整幅图像中显得不协调!

不要灰心!生成的patch在整幅图像中看起来不协调,换一种理解方式就是:整幅图像看起来不真实吗?索性我在上述两个loss的基础上,再加上一个生成的全局图像是否真实的判定。这样是不是就保证了生成的patch在整幅图像中看起来比较自然些呢?请看Figure 3 (f)美女的大致轮廓已经显现,看起来也自然的多了!

等等!对于我这个美女控来说,怎么允许美女的脸颊有褶皱呢,参看Figure 3 (f)?男的吧,我忍了!哈哈!怎么办呢?我已经耗尽脑汁了!在山重水复疑无路时,我脑海中忽然浮现出一句诗“横看成岭侧成峰”。于是,我决定大胆试试,遮住美女或者帅哥的一只眼睛,看看复原的这只眼是不是与另外一只眼搭配呢?请看下图

论文笔记 Generative Face Completion

在(c)中,我们可以明显感觉出,所说两只眼睛单独看没有问题,但是放在帅哥的脸上,怎么那么不自然呢?给人的感觉怪怪的!我们怎么才能使得他们协调一些呢?这个问题可理解为:保证两只眼睛大小一致、五官比例匀称等一些审美上的要求吧!

咯咯!这怎么和语义分割概念那么相似呢?假如,我能够事先知道一些五官布局之类的语义,这不就帮我解决上述问题了吗?说干就干,就给她引入语义信息!!!结果如(d),真是“千呼万唤始出来”哦!总算得到了让我满意的“帅哥”、“美女”图像!!!

说了这么多,我究竟在说的是什么呢?你是在搞图像处理呢,还是在干啥?恩,不能不务正业了,下面给您放出论文中的模型

论文笔记 Generative Face Completion

是不是看着很熟悉的样子哦!Global discriminator就是判断复原图像是否真实的;local discriminator就是判断复原图像patch是否真实的。Parsing network那个是使得得到的人脸五官匀称、整齐的!至于L2 重构,您就自己意会一下吧!这不就是将我刚刚分析的几个要素整合到CNN网络中了吗?原理建模还可以这么理解哦!

明白了这篇paper的基本思路之后,下面就是在特定的数据集上训练我们的网络,当然了这个数据集必须包含作者需要的信息:GT parsing。作者选取的数据集是,CelebA。实际上,训练好这个网络之后,我们可以拿自己的人脸试试哦,看看是变帅了呢,还是变亮了呢?

说句话外话,Loss函数太多,每一个loss函数的权值怎么选,这个的确是个“黯然销魂”的问题,作者只是给出了权重,但是没有给出一些原则哦!如果您对鸟脸比较感兴趣,估计您得自己选择这些参数了哦!也许,您一下子就能选到了最佳组合,也许您在纠结到底什么权重是合适的呢?

以上就是自己一些粗浅的看法,不当之处,敬请各位批评指正!!!