tensorflow读取训练数据方法

时间：2024-10-06 12:36:50

1. 预加载数据 Preloaded data

# coding: utf-8

import tensorflow as tf

# 设计Graph

x1 = tf.constant([2, 3, 4])

x2 = tf.constant([4, 0, 1])

y = tf.add(x1, x2)

with tf.Session() as sess:

  print sess.run(y)

# output:

# [6 3 5]

预加载数据方式是将训练数据直接内嵌到tf的图中，需要提前将数据加载到内存里，在数据量比较大，或者说在实际训练中，基本不可行。

2. 声明占位符，运行时Feeding数据

# coding: utf-8

import tensorflow as tf

# 设计Graph

x1 = tf.placeholder(tf.int16)

x2 = tf.placeholder(tf.int16)

epoch_num = 0

# 用Python产生数据

data = [2, 3, 4]

label= [1, 0, 1]

with tf.Session() as sess:

  while epoch_num <len(data):

    print sess.run((x1,x2), feed_dict={x1: data[epoch_num], x2: label[epoch_num]})

    epoch_num+=1

# output:

# (array(2, dtype=int16), array(1, dtype=int16))

# (array(3, dtype=int16), array(0, dtype=int16))

# (array(4, dtype=int16), array(1, dtype=int16))

声明占位符是在训练过程中Feeding填充数据，可以选择把所有数据一次性加载到内存，每次取一个batch的数据出来训练，也可以选择把数据通过python建立一个生成器，每次加载一个batch的数据出来训练，加载方式比较灵活但是效率相对比较低。

3. 从文件直接读取数据

从文件读取数据的方式是在Graph图中定义好文件读取的方式，在Session会话中启动（一个或多个）线程，把训练数据异步加载到内存（样本）队列中（先加载到文件名队列中，tf自动读取到内存队列中），通过队列管理器进行管理，执行效率较高，工作流程示意图：

tensorflow读取训练数据方法

# -*- coding:utf-8 -*-

import tensorflow as tf

import numpy as np

# 样本个数

sample_num = 5

# 设置迭代次数

epoch_num = 2

# 设置一个批次中包含样本个数

batch_size = 3

# 计算每一轮epoch中含有的batch个数

batch_total = int(sample_num / batch_size) + 1

# 生成4个数据和标签

def generate_data(sample_num=sample_num):

    labels = np.asarray(range(0, sample_num))

    images = np.random.random([sample_num, 224, 224, 3])

    print('image size {},label size :{}'.format(images.shape, labels.shape))

    return images, labels

def get_batch_data(batch_size=batch_size):

    images, label = generate_data()

    # 数据类型转换为tf.float32

    images = tf.cast(images, tf.float32)

    label = tf.cast(label, tf.int32)

    # 从tensor列表中按顺序或随机抽取一个tensor准备放入文件名称队列

    input_queue = tf.train.slice_input_producer([images, label], num_epochs=epoch_num, shuffle=False)

    # 从文件名称队列中读取文件准备放入文件队列

    image_batch, label_batch = tf.train.batch(input_queue, batch_size=batch_size, num_threads=2, capacity=64,

                                              allow_smaller_final_batch=False)

    return image_batch, label_batch

image_batch, label_batch = get_batch_data(batch_size=batch_size)

with tf.Session() as sess:

    # 先执行初始化工作

    sess.run(tf.global_variables_initializer())

    sess.run(tf.local_variables_initializer())

    # 开启一个协调器

    coord = tf.train.Coordinator()

    # 使用start_queue_runners 启动队列填充

    threads = tf.train.start_queue_runners(sess, coord)

    try:

        while not coord.should_stop():

            print '************'

            # 获取每一个batch中batch_size个样本和标签

            image_batch_v, label_batch_v = sess.run([image_batch, label_batch])

            print(image_batch_v.shape, label_batch_v)

    except tf.errors.OutOfRangeError:  # 如果读取到文件队列末尾会抛出此异常

        print("done! now lets kill all the threads……")

    finally:

        # 协调器coord发出所有线程终止信号

        coord.request_stop()

        print('all threads are asked to stop!')

    coord.join(threads)  # 把开启的线程加入主线程，等待threads结束

    print('all threads are stopped!')  

# output:

# image size (5, 224, 224, 3),label size :(5,)

# ************

# ((3, 224, 224, 3), array([0, 1, 2], dtype=int32))

# ************

# ((3, 224, 224, 3), array([3, 0, 4], dtype=int32))

# ************

# ((3, 224, 224, 3), array([1, 2, 3], dtype=int32))

# ************

# done! now lets kill all the threads……

# all threads are asked to stop!

# all threads are stopped!

与从文件直接读取训练数据对应的还有一种方式是先把数据写入TFRecords二进制文件，再从队列中读取。

TFRecords方式相比直接读取训练文件，效率更高，特别是在训练文件比较多的情况下，缺点是需要额外编码处理TFRecords，不够直观。

4. Tensorflow 动态图机制（Eager Execution）下的Dataset数据读取

Tensorflow动态图机制支持图上的运算动态执行，更方便网络模型搭建和程序调试，不再需要通过sess.run()才能执行所定义的运算，调试时可以直接查看变量的值，做到了“所见即所得”，动态图运算应该是未来tensorflow发展的方向。

动图模式下就必须使用Dataset API来读取数据。

tensorflow 1.3 版本中，Dataset API是在contrib包的，1.4以后版本中，Dataset 放到了data中：

tf.contrib.data.Dataset  #1.3

tf.data.Dataset  # 1.4

Dataset 读取数据示例：

# -*- coding:utf-8 -*-

import tensorflow as tf

import numpy as np

dataset = tf.contrib.data.Dataset.from_tensor_slices(np.array([0,1,2,3,4,5]))

iterator = dataset.make_one_shot_iterator()

one_element = iterator.get_next()

with tf.Session() as sess:

  for i in range(5):

    print(sess.run(one_element))

# output:

# 0

# 1

# 2

# 3

# 4

Dataset 读取训练图片文件示例：

# 将图片文件名列表中的图片文件读入，缩放到指定的size大小

def _parse_function(filename, label, size=[128,128]):

  image_string = tf.read_file(filename)

  image_decoded = tf.image.decode_image(image_string)

  image_resized = tf.image.resize_images(image_decoded, size)

  return image_resized, label

# 图片文件名列表

filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])

# 图片文件标签

labels = tf.constant([0, 37, ...])

# 建立一个数据集，它的每一个元素是文件列表的一个切片

dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))

# 对数据集中的图片文件resize

dataset = dataset.map(_parse_function)

# 对数据集中的图片文件组成一个一个batch，并对数据集扩展10次，相当于可以训练10轮

dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)

相关文章