卷积转换为矩阵运算中填充数的计算-GEMM

背景：最近在写一个基于opencl的正向神经网络框架，项目地址 https://github.com/aktiger/YoloOCLInference ，我从这里https://github.com/pengdada/YoloOCLInference fork了一个基本的脚手架，但是原始的项目只支持windows的版本，首先把它移植到linux下，由于需要支持resnet18，还缺少7*7的卷积，需要自己搞一个，在搞之前，先对3*3的卷积计算进行了梳理，后面7*7的也就顺理成章。基于opencl做的目的也是为了能够上嵌入式设备，不想一直生活在服务器的世界里，所以该造的*还是要自己造。

虽然学术圈还是工业界都在说卷积神经网络，但是到了底层要么是转换为矩阵的运算，要么是转换为频域上的计算。要将卷积操作转换为矩阵乘积的第一步是要做img2col操作，如下图，想详细了解看这里：https://petewarden.com/2015/04/20/why-gemm-is-at-the-heart-of-deep-learning/ 

在执行convertImageTocolumn操作的时候，传入的原始图片Img的大小为3*416*416，填充数为1，stride为1，如果填充的块都为1， 那么将Img变成column形式后，里面会有多少个零呢？答案是14964个，这是程序给出的结果，那么这个是怎么来的呢？首先将14964做质数分解：14963=43*3*2*2*29 ，这里我们发现有3，那么这个3可以看做是三个通道，这样就只需要看14963=3*4988, 一个通道上有4988个零是怎么来的。如下图所示，如果通道大小是3*3，卷积核大小是3*3，填充为1，步长（stride）为1，那么填充后的大小为5*5，现在要用3*3的卷积在其上进行块转换，我们知道转换成块后的大小将是原来大小的9倍。我们来计算5*5的通道上进行块转换后，里面具有0的数量，首先4个角上，每个角上获得的填充数为5，共20个，每一条边上获得的填充数量为3，共4条边，共12个填充，总共为1*3*4+20 = 32个。 以此类推，如果单个通道的大小变为416*416，卷积核依然为3*3，那么每条边上获得的填充数量为(416-3+1)*3 *4+ 4*5 = 4988个，如果通道数量为3，那么就为3*4988=14964。 由此可以得到如下的计算公式：

假设，通道数为C，通道高度为H，通道宽度为W，卷积核大小为K，填充为1，步长为1，假设H=W，那么获得填充数量为：3*[(W-K+1)*3*4 + 5*4].

程序验证：

将卷积核、所有输入通道出了填充之外的值都全部设置成1，填充的值设置为0，对3*416*416的输入，利用GEMM进行卷积计算，卷积核大小为3*3，步长和

填充都为1，输出通道数量为16，计算完后，得到不同值的分布如下，结果为12的数量为64，值为18的数量为26496，值为27的为2742336。 可以知道，输出

元素的个数为：16*416*416，即有16个通道，每一个通道的大小为416*416。

现在我们来分析上面每一个值数量的来由： 首先分析，结果为12的数量64，由于有16个输出通道，那么相当于每一个输出通道有4个12的值，这正好对应于在每个输入通道的4个角上卷积后的结果，因为四个角上，有5个值是被填充的，还剩下4个数为1，乘以输入通道数3，得到的数值正好为12。 然后分析值为18的数量26496，同样道理，由于输出通道有16，相当于每一个输出通道上有26496/16=1656个值为18的数。对应于每一个输入通道边上的卷积（不包括4个角）的数量为（416-3+1）*4=1656，而每一个这样的卷积中，有3个数是被填充的，3个通道就是有9个数是被填充的，本来是27个1，但是这里有9个1被填充为0，所以最后的数值就位18。最后分析值为27的数量：2742336，同样，由于有16个输出通道，那么每一个通道27的数量为2742336/16=171396个，在输入通道上除了边上和和4个角上的卷积（内部卷积，每个位置都是1）的数量为414*414，正好等于171396个。

可以用这个在线质数分解器：http://www.atool.org/quality_factor.php

计算im2col输出元素个数的公式为： in_ch * k_size * k_size * out_w * out * out_h

其中：

in_ch:  输入通道大小

k_size:  卷积核大小

out_w: 在输入图片上做卷积后，输出通道的宽，计算公式为：out_w = (in_w + 2*pad  - k_size )/stride + 1

out_h： 在输入图片上做卷积后，输出通道的高， 计算公式为： out_h = (in_h + 2*pad –k_size )/stride + 1

下面是运行3*3卷积和7*7卷积的日志：

/home/ubuntu/zhangchao/cvs/YoloOCLInference/cmake-build-debug/test/test
Running 2 test cases...
CL_COMPUTE DEVICES: 2
CL_DEVICE_ID: 0x2594750
CL_DEVICE_NAME:: Tesla K40m
CL_DEVICE_VENDOR:: NVIDIA Corporation
CL_DRIVER_VERSION:: 375.26
CL_DEVICE_VERSION:: OpenCL 1.2 CUDA
CL_DEVICE_OPENCL_C_VERSION:: OpenCL C 1.2
CL_DEVICE_TYPE::CL_DEVICE_TYPE_GPU
CL_DEVICE_MAX_COMPUTE_UNITS: 15
clCreateProgramWithSource success
clGetProgramBuildInfo() success
buildProgram kernels success
Kernel No: 1, name - image2columarray3x3
buildProgram kernels success
Kernel No: 2, name - image2columarray1x1
buildProgram kernels success
Kernel No: 3, name - resetarray
buildProgram kernels success
Kernel No: 4, name - normalizearray
buildProgram kernels success
Kernel No: 5, name - scalebias
buildProgram kernels success
Kernel No: 6, name - addbias
buildProgram kernels success
Kernel No: 7, name - scaleaddbias
buildProgram kernels success
Kernel No: 8, name - normscaleaddbias
buildProgram kernels success
Kernel No: 9, name - leakyactivatearray
buildProgram kernels success
Kernel No: 10, name - linearactivatearray
buildProgram kernels success
Kernel No: 11, name - flattenarray
buildProgram kernels success
Kernel No: 12, name - softmax
buildProgram kernels success
Kernel No: 13, name - maxpool
buildProgram kernels success
Kernel No: 14, name - image2columarray7x7
Number of kernel Arguments : 11 image2columarray3x3
Number of kernel Arguments : 11 image2columarray1x1
Number of kernel Arguments : 7 normalizearray
Number of kernel Arguments : 4 scalebias
Number of kernel Arguments : 4 addbias
Number of kernel Arguments : 5 scaleaddbias
Number of kernel Arguments : 7 normscaleaddbias
Number of kernel Arguments : 4 leakyactivatearray
Number of kernel Arguments : 4 linearactivatearray
Number of kernel Arguments : 6 flattenarray
Number of kernel Arguments : 7 softmax
Number of kernel Arguments : 9 maxpool
Number of kernel Arguments : 3 resetarray
Number of kernel Arguments : 11 image2columarray7x7
In bufImg_before7x7.bin. Total count is : 519168;   Zero count is :0. Percent is: 0
In bufImg9x_before7x7.bin. Total count is : 24952368;   Zero count is :0. Percent is: 0
In buf_out_before7x7.bin. Total count is : 2715904;   Zero count is :2715904. Percent is: 1
In weights_gpu7x7.bin. Total count is : 2352;   Zero count is :0. Percent is: 0
Total kernel time was {-42898.564} msecs - image2columarray7x7
CL_Status is not CL_SUCCESS
get_local_size(0):8, get_num_groups(0): 63655, get_global_id(0): 509239
In bufImg9x_after.bin. Total count is : 24952368;   Zero count is :34596. Percent is: 0.00138648
Total kernel time was { 0.00} msecs - ComputeGEMM()
In buf_out_after7x7.bin. Total count is : 2715904;   Zero count is :0. Percent is: 0
data_img zero count is: 0. data_img_count: 519168
data_in zero count is: 0
data_out zero count is: 2768896
kernel_weights zero count is: 0
CL_COMPUTE DEVICES: 2
CL_DEVICE_ID: 0x2594750
CL_DEVICE_NAME:: Tesla K40m
CL_DEVICE_VENDOR:: NVIDIA Corporation
CL_DRIVER_VERSION:: 375.26
CL_DEVICE_VERSION:: OpenCL 1.2 CUDA
CL_DEVICE_OPENCL_C_VERSION:: OpenCL C 1.2
CL_DEVICE_TYPE::CL_DEVICE_TYPE_GPU
CL_DEVICE_MAX_COMPUTE_UNITS: 15
clCreateProgramWithSource success
clGetProgramBuildInfo() success
buildProgram kernels success
Kernel No: 1, name - image2columarray3x3
buildProgram kernels success
Kernel No: 2, name - image2columarray1x1
buildProgram kernels success
Kernel No: 3, name - resetarray
buildProgram kernels success
Kernel No: 4, name - normalizearray
buildProgram kernels success
Kernel No: 5, name - scalebias
buildProgram kernels success
Kernel No: 6, name - addbias
buildProgram kernels success
Kernel No: 7, name - scaleaddbias
buildProgram kernels success
Kernel No: 8, name - normscaleaddbias
buildProgram kernels success
Kernel No: 9, name - leakyactivatearray
buildProgram kernels success
Kernel No: 10, name - linearactivatearray
buildProgram kernels success
Kernel No: 11, name - flattenarray
buildProgram kernels success
Kernel No: 12, name - softmax
buildProgram kernels success
Kernel No: 13, name - maxpool
buildProgram kernels success
Kernel No: 14, name - image2columarray7x7
Number of kernel Arguments : 11 image2columarray3x3
Number of kernel Arguments : 11 image2columarray1x1
Number of kernel Arguments : 7 normalizearray
Number of kernel Arguments : 4 scalebias
Number of kernel Arguments : 4 addbias
Number of kernel Arguments : 5 scaleaddbias
Number of kernel Arguments : 7 normscaleaddbias
Number of kernel Arguments : 4 leakyactivatearray
Number of kernel Arguments : 4 linearactivatearray
Number of kernel Arguments : 6 flattenarray
Number of kernel Arguments : 7 softmax
Number of kernel Arguments : 9 maxpool
Number of kernel Arguments : 3 resetarray
Number of kernel Arguments : 11 image2columarray7x7
In bufImg_before.bin. Total count is : 519168;   Zero count is :0. Percent is: 0
In bufImg9x_before.bin. Total count is : 4672512;   Zero count is :0. Percent is: 0
In databuf_out_before.bin. Total count is : 2768896;   Zero count is :2768896. Percent is: 1
In weights_gpu.bin. Total count is : 432;   Zero count is :0. Percent is: 0
Total kernel time was {-42882.983} msecs - image2columarray3x3
CL_Status is not CL_SUCCESS
get_local_size(0):8, get_num_groups(0): 64897, get_global_id(0): 519175
In bufImg9x_after.bin. Total count is : 4672512;   Zero count is :14964. Percent is: 0.00320256
Total kernel time was { 0.00} msecs - ComputeGEMM()
In databuf_out_after.bin. Total count is : 2768896;   Zero count is :0. Percent is: 0

*** No errors detected

Process finished with exit code 0