AI禁烟可还行!吸烟识别+人脸识别

时间:2022-02-24 01:04:19

来源:渡码

哈喽,大家好。

今天给大家分享一个吸烟识别+人脸识别的项目。很多公共场所、生产场所和学校,都有禁烟的要求,做一个禁烟的监控,让AI自动识别吸烟行为,并识别是谁在吸烟,还是很有必要的。

用目标检测算法判断吸烟行为,提取吸烟者的人脸,用人脸识别算法判断谁在吸烟。思路比较简单,但细节处理起来还是稍微有些麻烦。

1. 检测香烟

我用了 5k 张抽烟的标记数据,作为训练数据

AI禁烟可还行!吸烟识别+人脸识别

放在dataset目录下。

训练YOLOv5目标检测模型。

第一步,复制data/coco128.yamlsmoke.yaml,并修改数据集目录和类别配置信息

path: ../dataset/smoke # dataset root dir
train: images/train  # train images (relative to 'path') 128 images
val: images/test  # val images (relative to 'path') 128 images
test:  # test images (optional)

# Classes
names:
  0: smoke

第二步,复制./models/yolov5s.yamlsmoke.yaml,修改nc

nc: 1  # number of classes

第三步,下载yolov5s.pt预训练模型,放在{yolov5目录}/weights目录中

执行下面命令,训练即可

python ./train.py --data ./data/smoke.yaml --cfg ./models/smoke.yaml --weights ./weights/yolov5s.pt --batch-size 30 --epochs 120 --workers 8 --name smoke --project smoke_s
AI禁烟可还行!吸烟识别+人脸识别

训练完成后可以看到如下输出:

AI禁烟可还行!吸烟识别+人脸识别

准召还凑合。

训练完成后,可以找到best.pt位置,后面用它来做香烟检测。

model = torch.hub.load('../28_people_counting/yolov5''custom''./weights/ciga.pt', source='local')

results = self.model(img[:, :, ::-1])
        pd = results.pandas().xyxy[0]
        ciga_pd = pd[pd['class'] == 0]
AI禁烟可还行!吸烟识别+人脸识别

能识别到烟后,我们还需要判断,当前是否正在吸烟。

可以用香烟检测框与嘴部检测框计算IOU来判断,说白了,就是判断这两框是否有交集,若有,则认为当前正在吸烟。

AI禁烟可还行!吸烟识别+人脸识别

嘴部检测框,使用人脸关键点来识别。

2. 人脸识别

人脸识别算法有很多成熟的模型,我们不需要自己训练,直接调库即可。

我这里用的是dlib库,它可以识别人脸 68 个关键点,并根据这 68 个关键点,提取人脸特征。

AI禁烟可还行!吸烟识别+人脸识别
face_detector = dlib.get_frontal_face_detector()
face_sp = dlib.shape_predictor('./weights/shape_predictor_68_face_landmarks.dat')

dets = face_detector(img, 1)

face_list = []
for face in dets:
    l, t, r, b = face.left(), face.top(), face.right(), face.bottom()

    face_shape = face_sp(img, face)

face_detector可以检测人脸,返回人脸检测框,face_sp基于人脸检测框,识别人脸 68 个关键点。

从这 68 个关键点中,我们便可以获取到嘴部检测框,用于判断是否正在吸烟。

最后,我们还是希望利用人脸识别算法,识别到谁在吸烟。

第一步,提取人脸特征

face_feature_model = dlib.face_recognition_model_v1('./weights/dlib_face_recognition_resnet_model_v1.dat')

face_descriptor = face_feature_model.compute_face_descriptor(img, face_shape)

face_descriptor根据人脸 68 个关键点之间的位置、距离,维每张脸计算出一个特征向量。这个原理类似于我们之前分享的word2vec或者将视频映射到N维向量。

第二步,将现有人脸录入人脸库。我准备了 3 个影视剧中的吸烟行为

AI禁烟可还行!吸烟识别+人脸识别

从视频中裁剪出人脸,向量化后,写入人脸数据库(用文件代替)

AI禁烟可还行!吸烟识别+人脸识别

第三步,发生吸烟行为后,我们可以裁剪出吸烟者的人脸,并计算人脸向量,与人脸数据库的特征进行比对,找到最相似的人脸,返回对应的名字

AI禁烟可还行!吸烟识别+人脸识别
def find_face_name(self, face_feat):
    """
    人脸识别,计算吸烟者名称
    :param face_feat:
    :return:
    """

    cur_face_feature = np.asarray(face_feat, dtype=np.float64).reshape((1-1))

    # 计算两个向量(两张脸)余弦相似度
    distances = np.linalg.norm((cur_face_feature - self.face_feats), axis=1)
    min_dist_index = np.argmin(distances)
    min_dist = distances[min_dist_index]

    if min_dist < 0.3:
        return self.face_name_list[min_dist_index]
    else:
        return '未知'

这个项目还有很多可以扩展的地方,比如:我提供的视频只有单张脸,实际监控中肯定是多张脸。这时候可以用MOT算法进行行人跟踪,然后再对每个人单独做吸烟识别

还有,可以单独做一个统计区,把识别到的吸烟行为保存,用作警告、处罚的证据。