tensorflow简单记录summary方法

时间：2021-02-01 06:55:59

虽然tf官方希望用户把 train , val 程序分开写，但实际开发中，明显写在一起比较简单舒服，但在保存数据到 summary 时， val 部分和 train 部分不太一样，会有一些问题，下面讨论如何在这种情况下记录 train/val 的 summary 。

假设训练时的主要代码结构如下：



losssummary = ...
othersummary = ...
trainsummaries = tf.summary.merge([losssummary, othersummary])


for i in range(self.batchnum):
    batching data...
    ...

    ... step ... trainsummaryresults = sess.run(... , trainsummaries)
    trainfilewriter.addsummary(trainsummaryresults)

    if step % self.saveinter == 0:
        ... # save checkpoint

    if step % self.dispinter == 0:
        ... # display training process

    if step % self.testinter == 0:
        ... # run model on test data




保存 train 部分的 summary 很简单，tf的示例代码也给了很多，先利用 sess.run 计算出 trainsummaryresults ，即当前 batch 的统计数据，然后保存到文件


但在 val 部分时，一般都在所有验证数据上获取 loss , accuracy 等 summary 数据，再保存到文件。这样只有两种方法：


1. val 部分的 batchsize 改为验证集大小 
2. batchsize 不变，对所有 batch 上获取的 loss , accuracy 计算平均


第一种方法存在的问题是，如果验证集数据较大， batchsize 会设置的较大，可能会引起内存or显存溢出，这个没法解决。


第二种方法存在的问题是，没法按照train部分的做法做，因为要的是整个验证数据的平均值，而不是每个 batch 的值,这个有办法解决。


在设计模型结构的时候，无论是 train 还是 val ，网络结构都是一样的，每次只能计算一个 batch 的 loss , accuracy ，没法单独为验证集修改。于是我想到了如下投机取巧的方法：先利用循环计算验证集每个 batch 的 loss , accuracy ，进行累加，记为 averageloss 和 averageaccuracy ，然后进行如下操作：




testsummaries = tf.Summary()

lossval = testsummaries.value.add()

lossval.tag = 'loss'

lossval.simplevalue = averageloss / batchnum

accval = testsummaries.value.add()

accval.tag = 'accuracy'

accval.simplevalue = averageaccuracy / batchnum

testfilewriter.addsummary(testsummaries, step)




其实就是自己创建一个 test_summaries ，把需要的东西填进去，模仿利用 sess.run 生成的 train_summary_results ，再保存到文件。大家如果感兴趣可以把 train_summary_results 打印出来，其实就是这么个结构。目前我只保存过 scalar ，但是其他值应该也可以这么保存。
相关文章