Java代码结构:
zxing源码的结构还是比较清晰的,有关QR码的代码主要在以下几个package中。Java代码中有生成QR码的代码,在C++代码中是没有生成部分,只有解析部分。
其中qrcode中是编解码的接口,外部代码通过这两个类来进行QR码的编解码。
detector是用来在摄像头抓取的图像中检测出QR码的那部分,并将其提取出来。这部分代码是解码的关键,也是可以进行优化的部分。
decoder是按照QR码的编码规范将之前detector中提取出的QR码符号进行解码操作,将图像解析为真实的信息。
QR码解码流程:
1、将图像进行二值化处理,1、0代表黑、白。
2、寻找定位符、校正符,然后将原图像中符号码部分取出。(detector代码实现的功能)
3、对符号码矩阵按照编码规范进行解码,得到实际信息(decoder代码实现的功能)
二值化:
zxing中条码的二值化都是使用 Binarizer实现,一维码使用getBlackRow方法, 二维码的使用getBlackMatrix方法。 Binarizer有两个生成类, GlobalHistogramBinarizer和HybridBinarizer;这两个类对 getBlackMatrix方法的实现有不同 , HybridBinarizer中的实现对于某些条件下的图像有些特殊的处理,暂时没有看懂,这里只介绍 GlobalHistogramBinarizer中二值化的方法。
二值化的关键就是定义出黑白的界限,我们的图像已经转化为了灰度图像,每个点都是由一个灰度值来表示,就需要定义出一个灰度值,大于这个值就为白(0),低于这个值就为黑(1)。在 GlobalHistogramBinarizer中,是从图像中均匀取5行(覆盖整个图像高度),每行取中间五分之四作为样本;以灰度值为X轴,每个灰度值的像素个数为Y轴建立一个直方图,从直方图中取点数最多的一个灰度值,然后再去给其他的灰度值进行分数计算,按照点数乘以与最多点数灰度值的距离的平方来进行打分,选分数最高的一个灰度值。接下来在这两个灰度值中间选取一个区分界限,取的原则是尽量靠近中间并且要点数越少越好。界限有了以后就容易了,与整幅图像的每个点进行比较,如果灰度值比界限小的就是黑,在新的矩阵中将该点置1,其余的就是白,为0。
提取符号码:
这部分是解码的关键部分,解码能力的高低也主要体现在这里(不过我感觉二维码本身设计的就比较好,对图像扭曲变形的纠错能力比较高,所以代码部分对这方面的处理就比较少)。这部分的目标是从像素为单位的原始图像中提取出符号码部分,并转换为模块为单位的符号码矩阵。
将二值化之后的矩阵交给Detector,其detect方法就是接口方法。调用这个方法就会返回取好的符号码矩阵。下面详细介绍detect方法所做的工作:
1、寻找定位符
寻找定位符是FinderPatternFinder这个类来实现的。
在图像中每隔iSkip就采样一行,
int iSkip = (3 * maxI) / (4 * MAX_MODULES);
在这一行中将连续的相同颜色的像素个数计入数组中,数组长度为5位,即去找黑\白\黑\白\黑的图像(如开始检测到黑色计入数组[0],直到检测到白色之前都将数组[0]的值+1;检测到白色了就开始在数组[1]中计数,以此类推)。填满5位后检测这5位中像素个数是否比例为1:1:3:1:1(可以有50%的误差范围),如果满足条件就说明找到了定位符的大概位置,将这个图像交给handlePossibleCenter方法去找到定位符的中心点,方法是先从垂直方向检测是否满足定位符的条件,如满足就定出Y轴的中心点坐标值,然后用这个坐标值去再次检测水平方向是否满足定位符条件,如满足就定出X轴的中心点坐标值。至此就找到了一个定位符的中心坐标。按照上面所说的步骤找出所有三个定位符的中心坐标,接下来开始定位三个定位符在符号中的位置,即左上(B点)、左下(A点)、右上(C点)三个位置。先通过两两之间的距离定出哪个是左上那一点(左上那点到其他两点的距离应该相差不远),然后通过计算BA、BC向量的叉乘定出A和C两点。
2、寻找校正符
通过ABC三点的坐标计算出校正符的可能位置,然后交给AlignmentPatternFinder去寻找最靠近右下角的那个校正符,寻找方法与寻找定位符的方法基本相同,如果找到就返回校正符的中心坐标,如果没有找到也没关系,解码程序可以继续。
3、透视转换,生成最终矩阵
找到了三个定位点和一个校正符的坐标(校正符没有找到可以用一个计算值来代替),符号图像的位置就已经确定了,现在要进行图像变形,建立起以模块为单位的符号矩阵与原图像之间的关系,使用的方法是George Wolberg写的Digital Image Warping一书中PerspectiveTransform方法(书中54-56页)。转换关系确立了就将新矩阵(以模块为单位的符号矩阵)中每一个点对应到原图像中的点,去看该点是黑是白,并将0、1置填充到矩阵中。这样就生成了最终的符号码。
解码QR符号码:
有了符号码矩阵就按照QR码的编码规范去进行解码。这部分功能是Decode类实现的。
先获取版本信息,然后获取到格式信息,从格式信息中取得纠错等级。然后去读码字,读码字的方法很简单,从右下角开始,两列为单位,从最后一行开始,先向上读,读到顶端再向下,这样依次读完整个图像(详细参见QR码编码规范ISO16022-2006)。然后将所有码字还原回block,进行RS纠错,然后形成一个二进制流交给DecodedBitStreamParser解析成真实的信息。
至此,解码过程结束
Java代码结构:
zxing源码的结构还是比较清晰的,有关QR码的代码主要在以下几个package中。Java代码中有生成QR码的代码,在C++代码中是没有生成部分,只有解析部分。
其中qrcode中是编解码的接口,外部代码通过这两个类来进行QR码的编解码。
detector是用来在摄像头抓取的图像中检测出QR码的那部分,并将其提取出来。这部分代码是解码的关键,也是可以进行优化的部分。
decoder是按照QR码的编码规范将之前detector中提取出的QR码符号进行解码操作,将图像解析为真实的信息。
QR码解码流程:
1、将图像进行二值化处理,1、0代表黑、白。
2、寻找定位符、校正符,然后将原图像中符号码部分取出。(detector代码实现的功能)
3、对符号码矩阵按照编码规范进行解码,得到实际信息(decoder代码实现的功能)
二值化:
zxing中条码的二值化都是使用 Binarizer实现,一维码使用getBlackRow方法, 二维码的使用getBlackMatrix方法。 Binarizer有两个生成类, GlobalHistogramBinarizer和HybridBinarizer;这两个类对 getBlackMatrix方法的实现有不同 , HybridBinarizer中的实现对于某些条件下的图像有些特殊的处理,暂时没有看懂,这里只介绍 GlobalHistogramBinarizer中二值化的方法。
二值化的关键就是定义出黑白的界限,我们的图像已经转化为了灰度图像,每个点都是由一个灰度值来表示,就需要定义出一个灰度值,大于这个值就为白(0),低于这个值就为黑(1)。在 GlobalHistogramBinarizer中,是从图像中均匀取5行(覆盖整个图像高度),每行取中间五分之四作为样本;以灰度值为X轴,每个灰度值的像素个数为Y轴建立一个直方图,从直方图中取点数最多的一个灰度值,然后再去给其他的灰度值进行分数计算,按照点数乘以与最多点数灰度值的距离的平方来进行打分,选分数最高的一个灰度值。接下来在这两个灰度值中间选取一个区分界限,取的原则是尽量靠近中间并且要点数越少越好。界限有了以后就容易了,与整幅图像的每个点进行比较,如果灰度值比界限小的就是黑,在新的矩阵中将该点置1,其余的就是白,为0。
提取符号码:
这部分是解码的关键部分,解码能力的高低也主要体现在这里(不过我感觉二维码本身设计的就比较好,对图像扭曲变形的纠错能力比较高,所以代码部分对这方面的处理就比较少)。这部分的目标是从像素为单位的原始图像中提取出符号码部分,并转换为模块为单位的符号码矩阵。
将二值化之后的矩阵交给Detector,其detect方法就是接口方法。调用这个方法就会返回取好的符号码矩阵。下面详细介绍detect方法所做的工作:
1、寻找定位符
寻找定位符是FinderPatternFinder这个类来实现的。
在图像中每隔iSkip就采样一行,
int iSkip = (3 * maxI) / (4 * MAX_MODULES);
在这一行中将连续的相同颜色的像素个数计入数组中,数组长度为5位,即去找黑\白\黑\白\黑的图像(如开始检测到黑色计入数组[0],直到检测到白色之前都将数组[0]的值+1;检测到白色了就开始在数组[1]中计数,以此类推)。填满5位后检测这5位中像素个数是否比例为1:1:3:1:1(可以有50%的误差范围),如果满足条件就说明找到了定位符的大概位置,将这个图像交给handlePossibleCenter方法去找到定位符的中心点,方法是先从垂直方向检测是否满足定位符的条件,如满足就定出Y轴的中心点坐标值,然后用这个坐标值去再次检测水平方向是否满足定位符条件,如满足就定出X轴的中心点坐标值。至此就找到了一个定位符的中心坐标。按照上面所说的步骤找出所有三个定位符的中心坐标,接下来开始定位三个定位符在符号中的位置,即左上(B点)、左下(A点)、右上(C点)三个位置。先通过两两之间的距离定出哪个是左上那一点(左上那点到其他两点的距离应该相差不远),然后通过计算BA、BC向量的叉乘定出A和C两点。
2、寻找校正符
通过ABC三点的坐标计算出校正符的可能位置,然后交给AlignmentPatternFinder去寻找最靠近右下角的那个校正符,寻找方法与寻找定位符的方法基本相同,如果找到就返回校正符的中心坐标,如果没有找到也没关系,解码程序可以继续。
3、透视转换,生成最终矩阵
找到了三个定位点和一个校正符的坐标(校正符没有找到可以用一个计算值来代替),符号图像的位置就已经确定了,现在要进行图像变形,建立起以模块为单位的符号矩阵与原图像之间的关系,使用的方法是George Wolberg写的Digital Image Warping一书中PerspectiveTransform方法(书中54-56页)。转换关系确立了就将新矩阵(以模块为单位的符号矩阵)中每一个点对应到原图像中的点,去看该点是黑是白,并将0、1置填充到矩阵中。这样就生成了最终的符号码。
解码QR符号码:
有了符号码矩阵就按照QR码的编码规范去进行解码。这部分功能是Decode类实现的。
先获取版本信息,然后获取到格式信息,从格式信息中取得纠错等级。然后去读码字,读码字的方法很简单,从右下角开始,两列为单位,从最后一行开始,先向上读,读到顶端再向下,这样依次读完整个图像(详细参见QR码编码规范ISO16022-2006)。然后将所有码字还原回block,进行RS纠错,然后形成一个二进制流交给DecodedBitStreamParser解析成真实的信息。
至此,解码过程结束