前言
1、这是一个手持的身份识别项目,属于图像识别的范围,不需要借助手持身份扫描器,只是检测当前视频或者摄像头中是否有身份证,然后做相关的处理。
2.这个项目是我之前做的一个大项目的一部分,项目用到的库有OpenCV,Boost, 还Caffe这个深度学习框架,用的一些相关的技术有图像处理的人脸检测,人脸识别,人脸验证,数字识别,汉字识别,以后有时间,可能会加上语音识别,或者对应声纹识别的相关操作。
3.我的项目环境是Ubuntu,Qt Creator 5.9.OpenCV3.3,使用Caffe训练VGG,VGG_Face,OCR等。
身份证检测
1.资源准备
(1)我写了个爬虫从网上下载了一大堆有身证的图像,这些身份都是公开的或者演示用的随机生成的身份证,所以应该不会某个人的个人隐私权,如果有侵犯,请私信我,下面是我下载的身份证的相关图像:
(2)使用LabelImage标注数据
(3)使用Caffe SSD的VGGNet训练模型,关于如何训练去调试参数,可以看我之前关于Caffe_SSD如何训练模型。
2.使用模型检测图像
(1)把以下三个文件导入到工程
(2)编写代码,进行识别。
void MainWindow::detectionId(Mat &input, string model_file,string model_text_file,string label_file)
{
vector<String> objNames = readLabels(label_file);
Ptr<dnn::Importer> importer;
try
{
importer = createCaffeImporter(model_text_file, model_file);
}
catch (const cv::Exception &err)
{
cerr << << endl;
}
Net net;
importer->populateNet(net);
();
Mat input_image = preprocess(input);
Mat blobImage = blobFromImage(input_image);
(blobImage, "data");
Mat detection = ("detection_out");
Mat detectionMat([2], [3], CV_32F, <float>());
float confidence_threshold = 0.2;
for (int i = 0; i < ; i++)
{
float confidence = <float>(i, 2);
if (confidence > confidence_threshold)
{
size_t objIndex = (size_t)(<float>(i, 1));
float tl_x = <float>(i, 3) * ;
float tl_y = <float>(i, 4) * ;
float br_x = <float>(i, 5) * ;
float br_y = <float>(i, 6) * ;
Rect object_box((int)tl_x, (int)tl_y, (int)(br_x - tl_x), (int)(br_y - tl_y));
rectangle(input, object_box, Scalar(i*10, 0, 255), 2, 8, 0);
putText(input, format("%s", objNames[objIndex].c_str()), Point(tl_x, tl_y), FONT_HERSHEY_SIMPLEX, 1.0, Scalar(255, 0, 0), 2);
}
}
}
Mat MainWindow::getMean(size_t &w, size_t &h)
{
Mat mean;
vector<Mat> channels;
for (int i = 0; i < 3; i++)
{
Mat channel(h, w, CV_32F, Scalar(meanValues[i]));
channels.push_back(channel);
}
merge(channels, mean);
return mean;
}
Mat MainWindow::preprocess(Mat &frame)
{
Mat preprocessed;
(preprocessed, CV_32F);
cv::resize(preprocessed, preprocessed, Size(width, height));
Mat mean = getMean(width, height);
subtract(preprocessed, mean, preprocessed);
return preprocessed;
}
3.识别结果
(1)打开图像
(2)检测当前图像中的身份证和身份证上的头像。
反面与头像
正面,这个图像多框了一个框。
结语
1.这是我用深度学习caffe_ssd的vgg做的身份证检测识别,也可以用传统的opencv方法去做。传统方法可以参考车牌识别项目。
2.关于整个工程的源码,运行程序时的bug,或者有如何优化的想法都可以加这个企鹅群:767133823 互相讨论学习
3.身份证边缘检测提取可以转到这个博客。
4.yolov5训练可以转到这个博客。
5.yolov5 C++ OpenCV DNN推理和最终模型以上传,想试试可以转这个博客。