OpenCV+TensorFlow实现自定义手写图像识别

时间:2024-01-24 11:12:50

完整版请点击链接:https://mp.weixin.qq.com/s/5gHXGmLbtO7m3dOFrDUiHQ    或微信关注“大数据技术宅”

用TensorFlow教你做手写字识别(准确率94.09%)文章中,笔者给出了CNN模型的训练以及给出了一些数字图像进行效果测试,这篇文章,笔者将给出自己手写数字图像,并且对图像进行简单处理,用上一篇文章中训练的网络进行手写数字的识别。下边跟着笔者的步伐实现属于自己的数字图像识别。

工具要求

 

工具及环境要求如下,如果大家在安装TensorFlow过程遇到问题,可以咨询笔者一起探讨。

  • Python 2.7.14

  • TensorFlow 1.5

  • pip 10.0.1

  • linux环境

  • openCV 2.4.13.6

  • C++

数字图像素材准备

 

笔者画了两个手写字,如图1所示,读者可以自行绘制自己的手写字图像。

图1 手绘数字图片

手绘数字图像预处理

 

由于笔者训练的CNN网络的输入图像是28*28像素的,所以需要对手绘数字图像进行简单处理,转换成28*28的灰度图像。图像处理的工具用的是openCV,C++代码如下:

 1#include <opencv2/core/core.hpp>
2#include <opencv2/highgui/highgui.hpp>
3#include <opencv2/imgproc/imgproc.hpp>
4#include "cv.h"  
5#include <string>
6#include <stdio.h>
7using namespace cv;
8using namespace std;
9
10cv::Mat org,dst,img,tmp;
11void on_mouse(int event,int x,int y,int flags,void *ustc)//event鼠标事件代号,x,y鼠标坐标,flags拖拽和键盘操作的代号
12{
13    static Point pre_pt = cv::Point(-1,-1);//初始坐标
14    static Point cur_pt = cv::Point(-1,-1);//实时坐标
15    char temp[16];
16    if (event == CV_EVENT_LBUTTONDOWN)//左键按下,读取初始坐标,并在图像上该点处划圆
17    {
18        org.copyTo(img);//将原始图片复制到img中
19        sprintf(temp,"(%d,%d)",x,y);
20        pre_pt = Point(x,y);
21        putText(img,temp,pre_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255),1,8);//在窗口上显示坐标
22        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);//划圆
23        imshow("img",img);
24    }
25    else if (event == CV_EVENT_MOUSEMOVE && !(flags & CV_EVENT_FLAG_LBUTTON))//左键没有按下的情况下鼠标移动的处理函数
26    {
27        img.copyTo(tmp);//将img复制到临时图像tmp上,用于显示实时坐标
28        sprintf(temp,"(%d,%d)",x,y);
29        cur_pt = Point(x,y);
30        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));//只是实时显示鼠标移动的坐标
31        imshow("img",tmp);
32    }
33    else if (event == CV_EVENT_MOUSEMOVE && (flags & CV_EVENT_FLAG_LBUTTON))//左键按下时,鼠标移动,则在图像上划矩形
34    {
35        img.copyTo(tmp);
36        sprintf(temp,"(%d,%d)",x,y);
37        cur_pt = Point(x,y);
38        putText(tmp,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
39        rectangle(tmp,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//在临时图像上实时显示鼠标拖动时形成的矩形
40        imshow("img",tmp);
41    }
42    else if (event == CV_EVENT_LBUTTONUP)//左键松开,将在图像上划矩形
43    {
44        org.copyTo(img);
45        sprintf(temp,"(%d,%d)",x,y);
46        cur_pt = Point(x,y);
47        putText(img,temp,cur_pt,FONT_HERSHEY_SIMPLEX,0.5,Scalar(0,0,0,255));
48        circle(img,pre_pt,2,Scalar(255,0,0,0),CV_FILLED,CV_AA,0);
49        rectangle(img,pre_pt,cur_pt,Scalar(0,255,0,0),1,8,0);//根据初始点和结束点,将矩形画到img上
50        imshow("img",img);
51        img.copyTo(tmp);
52        //截取矩形包围的图像,并保存到dst中
53        int width = abs(pre_pt.x - cur_pt.x);
54        int height = abs(pre_pt.y - cur_pt.y);
55        if (width == 0 || height == 0)
56        {
57            printf("width == 0 || height == 0");
58            return;
59        }
60        dst = org(Rect(min(cur_pt.x,pre_pt.x),min(cur_pt.y,pre_pt.y),width,height));
61        Mat dst02;
62        cv::resize(dst,dst02,Size(28,28));
63
64        imwrite("/home/openCV/mnist/temp.png",dst02);//注意将这里改为自己的处理结果存储地址
65        namedWindow("dst02");
66        imshow("dst02",dst02);
67        waitKey(0);
68    }
69}
70int main()
71{
72    org = imread("/home/openCV/mnist/ceshi8.jpg");//读取图片地址
73    org.copyTo(img);
74    org.copyTo(tmp);
75    namedWindow("img");//定义一个img窗口
76    setMouseCallback("img",on_mouse,0);//调用回调函数
77    imshow("img",img);
78    cv::waitKey(0);
79}

 

C++代码需要先编译,再运行,运行过程中如果遇到什么问题,欢迎读者跟笔者沟通,处理完之后图像如图2所示:

 

图2 预处理后手写图像

调用CNN网络对图像进行识别

 

用上一篇文章(用TensorFlow教你做手写字识别(准确率94.09%))部分,测试模型的代码,对处理过的手写图像进行识别,识别结果如图3所示:

图3 手写数字是被结果

 

通过笔者两篇手写数字识别文章的学习,相信动手尝试的读者已经对图像识别的流程有了简单的了解,在后续的图像识别系列文章中笔者会更加深入的介绍图像识别。图像识别的接下来两篇文章中笔者会用一篇讲解Faster R-CNN的原理,另一篇介绍Faster R-CNN的应用,并附上模型代码,预计要达到的效果如图4所示:

 

图4 图像识别效果

 

最后,笔者说一些题外话,本公众号运营到维护已经有近两个月时间,由于是笔者利用周末和业余时间所写,所以更新会比较缓慢,但笔者可以保证每周至少有一篇原创分享,并且保证本公众号不会存在任何商业行为,完全出于笔者爱好。希望想从事大数据及人工智能相关工作的读者与笔者互动交流,一块进步。

 

 

持续更新ing