TF启程

时间:2023-09-24 11:03:25

我第一次开始接触到TensorFlow大概是去年五月份,大三下,如果一年多已过,我却还在写启程。。这进度,实在汗颜。。

一个完整的tensorflow程序可以分为以下几部分:

  • Inputs and Placeholders
  • Build the Graph
    • Inference
    • Loss
  • Training
  • Train the Model
  • Visualize the Status
  • Save a Checkpoint
  • Evaluate the Model
  • Build the Eval Graph
  • Eval Output

Inputs and Placeholders

对于一个完整的网络来说,必定有输入还有输出,而Placeholders就是针对网络输入来的,相当于预先给输入变量占个坑,拿mnist来说,占坑代码可以如下面的例子:

 images_placeholder = tf.placeholder(tf.float32, shape=(batch_size,mnist.IMAGE_PIXELS))
labels_placeholder = tf.placeholder(tf.int32, shape=(batch_size))

上述代码相当于为mnist图片和标签分别占坑,而tf.placeholder参数可以如下面所示:

tf.placeholder(dtype, shape=None, name=None)

即需要提供占坑数据类型dtype,占坑数据shape,当然也可以给它提供一个唯一的name

Build the Graph

因为tf是通过构建图模型来进行网络搭建的,因此搭建网络也就是’Build the Graph’。

Inference

首先就是构建图,利用一系列符号将要表达的操作表达清楚,以用于后续模型的训练。如下面代码:

 with tf.name_scope('hidden1'):
weights = tf.Variable(tf.truncated_normal([IMAGE_PIXELS, hidden1_units],\
stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))),name='weights') biases = tf.Variable(tf.zeros([hidden1_units]),\
name='biases')

如上述代码,对于一个图的搭建,需要一些变量来支持我们的运算,比如矩阵相乘等,需要通过tf.Variable来声明变量,其参数格式如下:

 tf.Variable(self, initial_value=None, trainable=True, collections=None, validate_shape=True,\
caching_device=None, name=None, variable_def=None, dtype=None)

需要提供变量初始值initial_value, 是否接受训练trainable,对于validate_shape表示该变量是否可以改变,如果形状可以改变,那么应该为False。对于每个变量,可以赋予不同的名字tf.name_scope

Loss

在定义完图结构之后,我们需要有个目标函数,用作更新图结构中的各个变量。

 labels = tf.to_int64(labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name='xentropy')

如上,通过给定的labels占坑变量,完成手写数字识别的最后交叉熵函数。

Training

在得到目标函数之后,我们就可以对模型进行训练,这里常用梯度下降法。在训练阶段,我们可以通过tf.scalar_summary来实现变量的记录,用作后续的tensorboard的可视化,如:

 tf.scalar_summary(loss.op.name, loss)

然后通过tf.SummaryWriter()来得到对应的提交值。

而对于模型的最优化,这里 tf 提供了很多optimazer,通常在tf.train里面,这里常用的是GradientDenscentOptimizer(lr),然后通过调用:

 train_op = optimizer.minimize(loss, global_step=global_step)

Train the Model

在模型训练时,我们需要打开一个默认的图环境,用作训练,如:

 with tf.Graph().as_default():

以此来打开一个图结构,然后我们需要声明一个会话在所有操作都定义完毕之后,这样我们就可以利用这个session来运行Graph.可以通过如下方法声明:

 with tf.Session() as sess:
init = tf.initialize_all_variables()
sess.run(init)

每次我们可以通过sess.run来运行一些操作,进而获取其输出值,

 sess.run(fetches, feed_dict=None, options=None, run_metadata=None)

可以看到,run需要fetches,即操作,feed_dictfetches的输入,即占坑变量与其对应值构成的字典。

Visualize the Status

当然,在运行过程,我们可以通过可视化的操作来看网络运行情况。
在之前的tf.scalar_summary, 我们可以通过:

 summary = tf.merge_all_summaries()

将在图构建阶段的变量收集起来,然后在session创建之后运行如下命令生成可视化的值。

 summary_str = sess.run(summary, feed_dict=feed_dict)
summary_writer.add_summary(summary_str, step)

其中summary_writer由如下得到:

 summary_writer = tf.train.SummaryWriter(FLAGS.train_dir, sess.graph)

然后用tensorboard打开对应文件即可。

Save a Chenckpoint

对于模型的保存,可以通过如下代码实现:

 saver = tf.train.Saver()
saver.save(sess, FLAGS.train_dir, global_step=step)

而载入模型可以通过如下的代码来实现:

saver.restore(sess, FLAGS.train_dir)

当然了,模型的估计就类似上述了。

这样简单的模型搭建到运行就完成了。本文主要用到这些函数:

    • tf.placeholder
    • tf.Variable
    • tf.train
      • tf.train.GradientDenscentOptimizer
      • tf.train.SummaryWriter
      • tf.train.Saver
    • tf.session
    • tf.Graph
    • tf.add_summary
    • tf.merge_all_summaries

其实构建一个模型基本就用这些函数,然后就是一些数理计算方法。详情参看tensorflow

Reference:Link