前言
2017年底时候写了这篇《集 降噪 美颜 虚化 增强 为一体的极速图像润色算法 附Demo程序》
这也算是学习过程中比较有成就感的一个算法。
自2015年做算法开始到今天,还有个把月,就满五年了。
岁月匆匆,人生能有多少个五年。
这五年里,从音频图像到视频,从传统算法到深度学习,从2D到3D各种算法几乎都走了一个遍。
好在,不论在哪个领域都能有些许建树,这是博主我自身很欣慰的事情。
虽然有所间断但是仍然坚持写博客,并且坚持完整开源分享。
目的就是为了帮助那些一开始跟我一样,想要学习算法的萌新,
一起踏入算法领域去跟大家“排排坐,吃果果”。
引子
在这个特别的时间点,就想做点特别的事情。
那就是开源当时写的这个“美颜算法”,开源代码和当时的版本有些许出入,但是思路是一样的。
早些年的时候大家发现采用保边滤波的思路可以做到降噪,进而衍生出来针对皮肤的降噪,简称磨皮或者美颜。
从此百家争鸣,而这个课题到今天也还在发展,当然日新月异了。
故此,想谈谈针对美颜磨皮的一些算法思路,为后续想学习并改进的萌新提供一些养分。
概述美颜磨皮方法
1.基于保边降噪
这类算法有很多方法,但不外乎2种基础思路,
基于空间和基于频率,当然再展开的话,还可以细分为纹理和颜色。
例如通过肤色或纹理区域做针对性的处理。
这类算法的优点是计算简单,通用型强,但缺点就是不够细腻完美。
2.基于人脸检测贴图
这种严格意义上来说,是易容术,就是基于人脸检测出的关键数据。
例如人脸关键点,将人脸皮肤区域提取出来,重新贴上一张事先准备的皮肤图,进行皮肤贴合融合。
脸已经被置换了,效果很赞。有点缪修斯之船的味道。
这类算法优点是效果极其惊艳,但是算法复杂通用性差,一般只能针对少数角度表情的人脸。
3.结合1和2的深度学习方法
前两者的思路早期大行其道,如今到了数据时代,
基于深度学习的工具方案,可以非常好地结合前两者的思路,进行训练,求一个数据解。
很多人将深度学习等同于AI,这个做法有点激进。
基于深度学习的做法,仍然存在前两者一样的问题,简单的不够细腻,细腻的不够简单,
而如果要设计一个优秀的模型,其实跟设计一个传统算法一样困难。
基于数据驱动的算法,验证成本非常高,可控性比较差,当然在金钱的驱动下确实能产出还不错的算法模型。
这类算法的优点,往往能求出很不错的局部最优解,甚至以假乱真,缺点就是需要大量金钱和数据的驱动。
总结来说的话,不付出代价,就别想有好的结果,非常的现实。
据我所知目前使用最多的方案是第一种和第三种,第二种可操作性不强,只有少数公司掌握了这方面的核心技术。
但是不管是哪种方案,无非就是以下几个步骤。
1.确定人脸的皮肤区域
2.定位人脸的杂质(痘痘,斑点,痣,肤色不均等)
3.根据定位到杂质进行填补修复或滤除
这就是图像处理经典三部曲
1.定位 2.检测 3.处理
每一个细分展开,都非常宏大且复杂的算法。
以上,仅以磨皮美颜为例子,阐述图像方面的算法想要或正在解决什么样的问题。
我们在工作中碰到的图像问题无非以上几个核心问题,问题都是类似的,只是不同场景和需求下各有难处。
本次开源的算法思路
本次开源的算法是基于保边降噪的思路,
当然这个思路可以通过改写,参数化后可以集成到深度学习中,作为一个先验层辅助训练。
算法步骤如下:
1. 检测皮肤颜色,确定皮肤占图像的比率
2. 根据皮肤比率进行边缘检测,产出细节映射图
3. 基于细节映射图和磨皮强度进行保边降噪
4. 对降噪好的图进行再一次肤色检测,保留肤色区域的降噪,其他区域还原为原图
步骤比较简单,但是要同时兼顾效果性能,是很不容易的。
当然这个算法肤色检测那一部分可以采用深度学习“语义分割”方面的思路进而改进效果。
做得好,将本算法改良到准商用,惊艳的程度是没有问题的。
深度学习相关技术就不展开细说了,有能力的朋友,感兴趣的话,可以自行实操。
完整源代码开源地址:
https://github.com/cpuimage/skin_smoothing
项目没有第三方依赖,完整纯c代码。
有编译问题的同学自行参考《Windows下C,C++开发环境搭建指南》搭建编译环境。
附上算法效果的示例:
以上,权当抛砖引玉之用。
授人以鱼不如授人以渔。
2020年,疫情之下,
愿大家都能事业有成,身体健康。
世界和平,人们皆友爱。
若有其他相关问题或者需求也可以邮件联系俺探讨。
邮箱地址是: gaozhihan@vip.qq.com