1. random.shuffle(dataset) 对数据进行清洗操作
参数说明:dataset表示输入的数据
2.random.sample(dataset, 2) 从dataset数据集中选取2个数据
参数说明:dataset是数据, 2表示两个图片
3. random.choice(dataset) 从数据中随机抽取一个数据
参数说明: dataset 表示从数据中抽取一个数据
4. pickle.dump((v1,v2), f_path,pickle.HIGHEST_PROTOCOL) 将数据集写成.pkl 数据
参数说明: (v1, v2)表示数据集，f_path 打开的f文件， pickle.HIGHEST_PROTOCOL 保存的格式
代码说明：将图片的路径进行添加，取前50张构造出验证集，后550构造出训练集，对于小于100张的people_picture,用于构造出测试集，每一个人脸的数据集构造出的相同人脸和不同人脸的数目为各5对，最后将结果保存在csv文件中
第一步：使用os.listdir 获取图片的路径，将低于100张的添加到测试集，将600张的图片的其中50张添加到验证集，其中的550张添加到训练集, 这里每一个people都对应一个label
第二步: 使用test_pair_generate 用于生成相同人脸数据集和不相同人脸数据集的制作
第三步：使用random.shuffle 进行数据清洗，然后将路径保存为csv文件格式
# -*- coding: utf-8 -*-
'''
Created on 2019/7/8/0008 9:29 @Author : Sheng1994
''' import os
import numpy as np
import random
import pickle def test_pair_generate(test_image_list, each_k=5): test_paris_list = [] test_images_length = len(test_image_list) for people_index, people_images in enumerate(test_image_list): # 生成相同一对的脸
for _ in range(each_k):
same_paris = random.sample(people_images, 2)
test_paris_list.append((same_paris[0], same_paris[1], 1)) # 生成不同的一对脸
for _ in range(each_k):
index_random = people_index
while index_random == people_index:
index_random = random.randint(0, test_images_length)
diff_one = random.choice(test_image_list[people_index])
diff_another = random.choice(test_image_list[index_random])
test_paris_list.append((diff_one, diff_another, 0)) return test_paris_list def save_to_pkl(path, v1, v2): pkl_file = open(path, 'wb')
pickle.dump((v1, v2), pkl_file, pickle.HIGHEST_PROTOCOL)
pkl_file.close() def build_dataset(source_folder):
# 第一步：将数据的路径进行添加，对于训练集和验证集的数据其标签使用label+ 来表示，对于测试集的数据使用相同和不同人脸数据集进行表示
label = 1
train_dataset, valid_dataset, test_dataset = [], [], []
counter = 0 test_pair_counter = 0
train_counter = 0 for people_folder in os.listdir(source_folder):
people_images = []
people_folder_path = source_folder + os.sep + people_folder
for vedio_folder in os.listdir(people_folder_path):
vedio_folder_path = people_folder_path + os.sep + vedio_folder
for vedio_file_name in os.listdir(vedio_folder_path):
full_path = vedio_folder_path + os.sep + vedio_file_name
people_images.append(full_path) random.shuffle(people_images)
if len(people_images) < 100:
test_dataset.append(people_images)
test_pair_counter += 1 else:
valid_dataset.extend(zip(people_images[0:50], [label]*50))
test_dataset.extend(zip(people_images[50:600], [label]*550))
label += 1
train_counter += 1 print(people_folder +': id--->' + str(counter)) counter += 1
# 将train和test数据集的个数表示下来
save_to_pkl('image/train_test_number.pkl', train_counter, test_pair_counter)
# 第二步：对测试数据进行生成，产生各5组的相同人脸数据集和不同人脸数据集
test_pairs_dataset = test_pair_generate(test_dataset, each_k=5) random.shuffle(train_dataset)
random.shuffle(valid_dataset)
random.shuffle(test_pairs_dataset) return train_dataset, valid_dataset, test_pairs_dataset def save_to_csv(dataset, file_name):
with open(file_name, "w") as f:
for item in dataset:
f.write(",".join(map(str, item)) + "\n") def run(): random.seed(7) train_dataset, valid_dataset, test_dataset = build_dataset('image\\result')
# 第三步：数据清洗，并将数据集存储到train_dataset_path
train_dataset_path = 'image\\train_dataset.csv'
valid_dataset_path = 'image\\valid_dataset.csv'
test_dataset_path = 'image\\test_dataset.csv'
save_to_csv(train_dataset, train_dataset_path)
save_to_csv(valid_dataset, valid_dataset_path)
save_to_csv(test_dataset, test_dataset_path) if __name__ == '__main__':
run()