Dan Deng——【AAAI2018】PixelLink_Detecting Scene Text via Instance Segmentation
作者和代码
关键词
文字检测、多方向、直接回归、$$xywh\theta$$、one-stage、开源
方法亮点
- 使用instance segmentation的思路做（利用了二类分类+每个像素点与周围8个顶点的link分类）
- 利用图像处理方法进行后处理，不需要用NMS
方法概述
本文方法采用instance segmentation思路，预测text/non-text和pixel-link关系，再使用简单的图像处理的方式进行后处理来去除噪声。
方法细节
方法流程图
网络结构
Link定义
- 两个像素的都是positive（text）-> link是positive
- 一个是text，一个是non-text -> link是positive
- 两个都是non-text -> link是negative
损失函数
- 总损失
-
pixel 损失（Instance-Balanced Cross-Entropy Loss）
利用每个instance的面积来对其loss进行加权，目的是为了提高小目标对loss的贡献。
-
link损失
link_CE是Cross-Entropy loss。
后处理
- 通过pixel信息来链接Text/non-text prediction的score map里的像素，得到instance segmentation map
- 利用OpenCV的minAreaRect来提取oriented rectangle
- 使用后处理过滤噪声
- 去掉短边小于10个像素的box
- 去掉面积小于300的box
- 其他利用长宽比等（参数设置为在训练集上做统计，利用百分比对应的值作为参数，例如99%以上的文字短边都大于10,）
实验结果
- ICDAR2015
- MSRA-TD500
- ICDAR2013
- 模型分析对比实验
总结与收获
这篇方法采用纯分割的思路，完全没有利用目标检测的方法，连后处理都没用nms，方法还是比较特别的。