【opencv人脸识别3】从视频中识别出你的脸

时间:2022-09-16 15:59:26

【opencv人脸识别3】从视频中识别出你的脸

    第一节讲从图片中检测人脸【opencv人脸识别一】从图片中检测人脸

    第二节讲从视频中检测人脸,【opencv人脸识别】从视频中检测人脸

    本节结合前面的内容,实现从视频中识别出你的脸。大型的人脸识别需要首先训练大量的人脸模型,但本着迅速上手的目的,本节先直接训练4个人的人脸模型(小样本),直接进行识别。

    后续第四节将继续讲述更大型的人脸识别模型训练,【opencv人脸识别4】训练人脸模型。第五节,运用所训练好的模型,进行人脸识别。


大致流程  

    要想从视频中识别你的脸,大致流程如下:

        1.打开摄像头-> 获取视频帧-> 转化为对图片的操作 ->图片中检测人脸 ->截取检测到的人脸

        2.建立人脸数据库-> 训练人脸识别模型

        3.将截取的人脸与数据库进行对比 -> 利用模型进行预测-> 识别出人脸

主要步骤:

    第一步,建立人脸识别模型

    第二步,视频人脸检测

    第三步,进行人脸识别

所用人脸样本:    前三个是ORL库中的人脸,第四个是我。                      

                    【opencv人脸识别3】从视频中识别出你的脸

程序实现:

//face_recog_from_video.cpp 定义控制台应用程序的入口点。
#include "stdafx.h"
#include "opencv2/opencv.hpp"
#include "opencv2/face.hpp"
#include <stdio.h>
#include<iostream>

using namespace std;
using namespace cv;
using namespace cv::face;

/** Function Headers */
void detectAndDisplay(Mat frame);

/** Global variables */
String face_cascade_name = "./xml/haarcascade_frontalface_alt2.xml";
CascadeClassifier face_cascade;

String window_name = "Capture - Face Recognition";
string face1_path = ".\\data\\s1.pgm";//1
string face2_path = ".\\data\\s2.pgm";//2
string face3_path = ".\\data\\s3.pgm";//3
string face4_path = ".\\data\\lisa.pgm";//我->4号

Ptr<EigenFaceRecognizer> modelPCA = EigenFaceRecognizer::create();// 创建特征脸模型  EigenFaceRecognizer

/** @function main */
int main(int argc, const char** argv)
{
	
	vector<Mat> images;
	images.push_back(imread(face1_path, CV_LOAD_IMAGE_GRAYSCALE));
	images.push_back(imread(face2_path, CV_LOAD_IMAGE_GRAYSCALE));
	images.push_back(imread(face3_path, CV_LOAD_IMAGE_GRAYSCALE));
	images.push_back(imread(face4_path, CV_LOAD_IMAGE_GRAYSCALE));

	vector<int> labels(4);
	for (int i = 1;i <= 4;i++)
		labels[i-1] = i;

	//训练
	modelPCA->train(images, labels);
	
	VideoCapture capture;
	Mat frame;

	//-- 1. Load the cascades
	if (!face_cascade.load(face_cascade_name)) { printf("--(!)Error loading face cascade\n"); return -1; };

	//-- 2. Read the video stream
	capture.open(0); //打开摄像头
	if (!capture.isOpened()) { printf("--(!)Error opening video capture\n"); return -1; }

	while (capture.read(frame)) //读取帧
	{
		if (frame.empty())
		{
			printf(" --(!) No captured frame -- Break!");
			break;
		}

		//-- 3. Apply the classifier to the frame
		detectAndDisplay(frame);

		if (waitKey(10)  == 'k') { break; } // escape  
	}
	return 0;
}

/** @function detectAndDisplay */
void detectAndDisplay(Mat frame)
{
	std::vector<Rect> faces;
	Mat frame_gray;

	cvtColor(frame, frame_gray, COLOR_BGR2GRAY);  //BGR 转化为灰度图
	equalizeHist(frame_gray, frame_gray);   //直方图均衡化
	//-- Detect faces
	face_cascade.detectMultiScale(frame_gray, faces, 1.1, 2, 0 | CASCADE_SCALE_IMAGE, Size(60, 60));

	for (size_t i = 0; i < faces.size(); i++)
	{
		Point center(faces[i].x + faces[i].width / 2, faces[i].y + faces[i].height / 2); // 人脸中心坐标
		ellipse(frame, center, Size(faces[i].width / 2, faces[i].height / 2), 0, 0, 360, Scalar(255, 0, 255), 4, 8, 0); // 椭圆

		Mat faceROI = frame_gray(faces[i]);
		Mat face_test;
		// 调整大小为92*112  
		resize(faceROI, face_test, Size(92, 112));
		imwrite("lisa.pgm", face_test);
		double confidence;
		int predictPCA;
		modelPCA->predict(face_test, predictPCA, confidence);
		cout << "the predict result is " << predictPCA << endl << "confidence is " << confidence << endl;
		if (predictPCA == 4)
		{
			putText(frame, "Hello lisa", Point(faces[i].x, faces[i].y), FONT_HERSHEY_SIMPLEX, 1.5, Scalar(0, 0, 255), 2);

		}


	}
	//-- Show what you got
	imshow(window_name, frame);
}

注意:

   1.读取训练图片时,要注意,imread(face1_path, CV_LOAD_IMAGE_GRAYSCALE) //要加第2个参数,表示读取灰色图,默认是读取彩色图。

    2. 训练和识别所需要的均为灰度图,而且图片大小必须完全一样。 

    3. 此处,直接使用model->train和model->predict,是因为训练数目少,当数目多时,用csv文件存储路径和标签,可以用model->save 和model->load对已经训练好的数据进行储存和读取。

运行结果:

               【opencv人脸识别3】从视频中识别出你的脸

            好啦,正确识别出小主啦。 

                后续第四节将继续讲述更大型的人脸识别模型训练,【opencv人脸识别4】训练人脸模型。第五节,运用所训练好的模型,进行人脸识别。

 -------------------------------------------         END      -------------------------------------