[深度学习] Keras 如何使用fit和fit_generator

时间：2024-04-13 18:25:23

介绍

在本教程中，您将了解Keras .fit和.fit_generator函数的工作原理，包括它们之间的差异。为了帮助您获得实践经验，我已经提供了一个完整的示例，向您展示如何从头开始实现Keras数据生成器。

Keras深度学习库包括可用于训练您自己的模型：

  • .fit
  • .fit_generator

如果你是Keras和深度学习的新手，在试图确定你应该使用哪种函数时，你可能会觉得有点不知所措。如果你需要使用你自己的自定义数据，这种混乱只会更加复杂。

为了帮助掀开关于Keras fit和fit_generator函数的迷云，我将花费本教程讨论：

  • Keras的.fit，.fit_generator函数之间的区别
  • 在训练自己的深度学习模型时，何时使用每个函数
  • 如何实现自己的Keras数据生成器，并在使用.fit_generator训练模型时使用它
  • 在训练完成后评估网络时，如何使用.predict_generator函数

如何使用Keras fit和fit_generator

在今天的教程的第一部分中，我们将讨论Keras的.fit，.fit_generator和.train_on_batch函数之间的差异。

我将向您展示一个“非标准”图像数据集的示例，它根本不包含任何实际的PNG，JPEG等图像！相反，整个图像数据集由两个CSV文件表示，一个用于训练，第二个用于评估。

我们的目标是实现能够在此CSV图像数据上训练网络的Keras生成器（不用担心，我将向您展示如何从头开始实现这样的生成器功能）。

最后，我们将训练和评估我们的网络。

何时使用Keras的fit，fit_generator和train_on_batch函数？

这三个功能基本上可以完成相同的任务，但他们如何去做这件事是非常不同的。

让我们逐个探索这些函数，查看函数调用的示例，然后讨论它们彼此之间的差异。

Keras .fit函数

model.fit(trainX, trainY, batch_size=32, epochs=50)

在这里您可以看到我们提供的训练数据（trainX）和训练标签（trainY）。

然后，我们指示Keras允许我们的模型训练50个epoch，同时batch size为32。

对.fit的调用在这里做出两个主要假设：

  • 我们的整个训练集可以放入RAM
  • 没有数据增强（即不需要Keras生成器）

相反，我们的网络将在原始数据上训练。

原始数据本身将适合内存，我们无需将旧批量数据从RAM中移出并将新批量数据移入RAM。

此外，我们不会使用数据增强动态操纵训练数据。

Keras fit_generator函数

在深度学习中，我们数据通常会很大，即使在使用GPU的情况下，我们如果一次性将所有数据（如图像）读入CPU的内存中，内存很有可能会奔溃。这在实际的项目中很有可能会出现。

对于小型，简单化的数据集，使用Keras的.fit函数是完全可以接受的。

这些数据集通常不是很具有挑战性，不需要任何数据增强。

但是，真实世界的数据集很少这么简单：

  • 真实世界的数据集通常太大而无法放入内存中
  • 它们也往往具有挑战性，要求我们执行数据增强以避免过拟合并增加我们的模型的泛化能力

在这些情况下，我们需要利用Keras的.fit_generator函数：


[深度学习] Keras 如何使用fit和fit_generator

 

函数的参数是：

  • generator：生成器函数，生成器的输出应该为：

    • 一个形如（inputs，targets）的tuple

    • 一个形如（inputs, targets,sample_weight）的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时，记一个epoch结束

  • steps_per_epoch：整数，当生成器返回steps_per_epoch次数据时计一个epoch结束，执行下一个epoch

  • epochs：整数，数据迭代的轮数

  • verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录

  • validation_data：具有以下三种形式之一

    • 生成验证集的生成器

    • 一个形如（inputs,targets）的tuple

    • 一个形如（inputs,targets，sample_weights）的tuple

  • validation_steps: 当validation_data为生成器时，本参数指定验证集的生成器返回次数

  • class_weight：规定类别权重的字典，将类别映射为权重，常用于处理样本不均衡问题。

  • sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序数据时，传递一个的形式为（samples，sequence_length）的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。

  • workers：最大进程数在使用基于进程的线程时，最多需要启动的进程数量

  • use_multiprocessing：布尔值。当为True时，使用基于基于过程的线程。

  • max_q_size：生成器队列的最大容量

  • initial_epoch: 从该参数指定的epoch开始训练，在继续之前的训练时有用。

官方demo代码：

def generate_arrays_from_file(path):
    while 1:
            f = open(path)
            for line in f:
                # create Numpy arrays of input data
                # and labels, from each line in the file
                x, y = process_line(line)
                yield (x, y)
        f.close()
 
model.fit_generator(generate_arrays_from_file('/my_file.txt'), samples_per_epoch=10000, epochs=10)

官方的demo没有实现batch_size,该demo每次只能提取一个样本。

针对上述的数据集,实现的batch_size数据提取的迭代器,代码如下：

def process_line(line):
    tmp = [int(val) for val in line.strip().split(',')]
    x = np.array(tmp[:-1])
    y = np.array(tmp[-1:])
    return x, y


def generate_arrays_from_file(path, batch_size):
    while 1:
        f = open(path)
        cnt = 0
        X = []
        Y = []
        for line in f:
            # create Numpy arrays of input data
            # and labels, from each line in the file
            x, y = process_line(line)
            X.append(x)
            Y.append(y)
            cnt += 1
            if cnt == batch_size:
                cnt = 0
                yield (np.array(X), np.array(Y))
                X = []
                Y = []
        f.close()
model.fit_generator(generate_arrays_from_file('./train', batch_size=batch_size),
                    samples_per_epoch=25024, nb_epoch=nb_epoch, validation_data=(X_test, y_test), max_q_size=1000,
                    verbose=1, nb_worker=1)

keras 使用迭代器来实现大数据的训练, 其简单的思想就是,使用迭代器从文件中去顺序读取数据。所以自己的训练数据一定要先随机打散。因为我们的迭代器也是每次顺序读取一个batch_size的数据进行训练。

# initialize the number of epochs and batch size
EPOCHS = 100
BS = 32

# construct the training image generator for data augmentation
aug = ImageDataGenerator(rotation_range=20, zoom_range=0.15,
	width_shift_range=0.2, height_shift_range=0.2, shear_range=0.15,
	horizontal_flip=True, fill_mode="nearest")

# train the network
H = model.fit_generator(aug.flow(trainX, trainY, batch_size=BS),
	validation_data=(testX, testY), steps_per_epoch=len(trainX) // BS,
	epochs=EPOCHS)

我们首先初始化将要训练的网络的epoch和batch size。

然后我们初始化aug，这是一个Keras ImageDataGenerator对象，用于图像的数据增强，随机平移，旋转，调整大小等。

执行数据增强是正则化的一种形式，使我们的模型能够更好的被泛化。

但是，应用数据增强意味着我们的训练数据不再是“静态的” ——数据不断变化。

根据提供给ImageDataGenerator的参数随机调整每批新数据。

因此，我们现在需要利用Keras的.fit_generator函数来训练我们的模型。

顾名思义，.fit_generator函数假定存在一个为其生成数据的基础函数。

该函数本身是一个Python生成器。

Keras在使用.fit_generator训练模型时的过程：

  • Keras调用提供给.fit_generator的生成器函数（在本例中为aug.flow）
  • 生成器函数为.fit_generator函数生成一批大小为BS的数据
  • .fit_generator函数接受批量数据，执行反向传播，并更新模型中的权重
  • 重复该过程直到达到期望的epoch数量

您会注意到我们现在需要在调用.fit_generator时提供steps_per_epoch参数（.fit方法没有这样的参数）。

为什么我们需要steps_per_epoch？

请记住，Keras数据生成器意味着无限循环，它永远不会返回或退出。

由于该函数旨在无限循环，因此Keras无法确定一个epoch何时开始的，并且新的epoch何时开始。

因此，我们将训练数据的总数除以批量大小的结果作为steps_per_epoch的值。一旦Keras到达这一步，它就会知道这是一个新的epoch。

 

 

 

 

参考：   

 

相关文章