新生研讨课-图像填充技术简述

时间:2024-03-16 15:44:57

在新生研讨课上,校领导些给我们请了不少大牛给我们讲述了当前it业的热门方向,其中院长讲述的图像填充技术深深地吸引了我的注意力,我在此基础上查阅了相关资料,并稍作整理了下。
图像填充技术简单来说就是利用原图像内的像素点,对目标区域进行填补。但是其中的学问并不简单。如何让算法准确地识别出图像的内容,并从原图像中精准地找出所需要的像素点去填补,使得输出图像看上去更加清晰自然,一直是各位算法工作者们研究的课题。

在2005年,Michal Zmiri-Yaniv和他的团队成功实现了图像的填充[1],其效果如图
新生研讨课-图像填充技术简述
新生研讨课-图像填充技术简述
这样的图像自动填充看上去十分惊艳,但是当我们迫不及待地打开photoshop,进行同样的操作。选中目标区域,利用photoshop内置的内容识别向目标区域进行填充,会发现实际效果并不如人意,图片看上去非常的不自然
新生研讨课-图像填充技术简述
新生研讨课-图像填充技术简述
这是由于photoshop内置的内容识别对背景和遮罩大小的要求非常高,对于稍微复杂的图像,photoshop无法准确的识别图像的内容,所以不知道该用原图像的哪一部分去精准地填充到相应的位置

其中一种解决方法就是操作者添加指引(guides),告诉算法要用原图像的哪些内容来进行填充
新生研讨课-图像填充技术简述
但这是毕竟还是因为算法不够完美,只是简单的拿目标区域周围的像素去填充,所以才需要人工的介入去弥补。而算法真正的进化方向,是通过深度学习来不断优化算法。

深度填充(deepfill)

Adobe正研究的基于深度学习的图像修复系统—深度填充(deepfill )可以很好地解决这些问题,该系统从数百万张图像中学习门控卷积,解决了普通卷积将所有输入像素都视为有效像素的问题,从而得到了更加高质量,更加灵活的结果

以下是deepfill2 的处理结果

新生研讨课-图像填充技术简述
此外,此系统还能根据用户所画的线条,将图像填充成用户想要的结果。
新生研讨课-图像填充技术简述
新生研讨课-图像填充技术简述

若想要深入了解deepfill,请前往deep的主页
deepfill v1主页:http://jiahuiyu.com/deepfill/
deepfill v2主页:http://jiahuiyu.com/deepfill2/

参考:
[1]http://www2.mta.ac.il/~tal/ImageCompletion/
https://blog.csdn.net/Hungryof/article/details/78818771
https://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/82837213
https://blog.csdn.net/yh0vlde8vg8ep9vge/article/details/80730226