图像数据增强 (Data Augmentation in Computer Vision)

1.1 简介

深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下，可以通过数据增强（Data Augmentation）来增加训练样本的多样性，提高模型鲁棒性，避免过拟合。

在计算机视觉中，典型的数据增强方法有翻转（Flip），旋转（Rotat ），缩放（Scale），随机裁剪或补零（Random Crop or Pad），色彩抖动（Color jittering），加噪声（Noise）

笔者在跟进视频及图像中的人体姿态检测和关键点追踪（Human Pose Estimatiion and Tracking in videos）的项目。因此本文的数据增强仅使用——翻转（Flip），旋转（Rotate ），缩放以及缩放（Scale）

2.1 裁剪（Crop）

image.shape--([3, width, height])一个视频序列中的一帧图片,裁剪前大小不统一
bbox.shape--([4,])人体检测框，用于裁剪
x.shape--([1,13]) 人体13个关键点的所有x坐标值
y.shape--([1,13])人体13个关键点的所有y坐标值

     def crop(image, bbox, x, y, length):

         x, y, bbox = x.astype(np.int), y.astype(np.int), bbox.astype(np.int)

         x_min, y_min, x_max, y_max = bbox

         w, h = x_max - x_min, y_max - y_min

         # Crop image to bbox

         image = image[y_min:y_min + h, x_min:x_min + w, :]

         # Crop joints and bbox

         x -= x_min

         y -= y_min

         bbox = np.array([0, 0, x_max - x_min, y_max - y_min])

         # Scale to desired size

         side_length = max(w, h)

         f_xy = float(length) / float(side_length)

         image, bbox, x, y = Transformer.scale(image, bbox, x, y, f_xy)

         # Pad

         new_w, new_h = image.shape[1], image.shape[0]

         cropped = np.zeros((length, length, image.shape[2]))

         dx = length - new_w

         dy = length - new_h

         x_min, y_min = int(dx / 2.), int(dy / 2.)

         x_max, y_max = x_min + new_w, y_min + new_h

         cropped[y_min:y_max, x_min:x_max, :] = image

         x += x_min

         y += y_min

         x = np.clip(x, x_min, x_max)

         y = np.clip(y, y_min, y_max)

         bbox += np.array([x_min, y_min, x_min, y_min])

         return cropped, bbox, x.astype(np.int), y.astype(np.int)

2.2 缩放（Scale）

image.shape--([3, 256, 256])一个视频序列中的一帧图片，裁剪后输入网络为256*256
bbox.shape--([4,])人体检测框，用于裁剪
x.shape--([1,13]) 人体13个关键点的所有x坐标值
y.shape--([1,13])人体13个关键点的所有y坐标值
f_xy--缩放倍数

     def scale(image, bbox, x, y, f_xy):

         (h, w, _) = image.shape

         h, w = int(h * f_xy), int(w * f_xy)

         image = resize(image, (h, w), preserve_range=True, anti_aliasing=True, mode='constant').astype(np.uint8)

         x = x * f_xy

         y = y * f_xy

         bbox = bbox * f_xy

         x = np.clip(x, 0, w)

         y = np.clip(y, 0, h)

         return image, bbox, x, y

2.3 翻转（fillip）

这里是将图片围绕对称轴进行左右翻转（因为人体是左右对称的，在关键点检测中有助于防止模型过拟合）

     def flip(image, bbox, x, y):

         image = np.fliplr(image).copy()

         w = image.shape[1]

         x_min, y_min, x_max, y_max = bbox

         bbox = np.array([w - x_max, y_min, w - x_min, y_max])

         x = w - x

         x, y = Transformer.swap_joints(x, y)

         return image, bbox, x, y

翻转前：