caffe保存训练输出到log 并绘制accuracy loss曲线

时间:2021-08-03 22:10:06

参考以下网页:

http://blog.csdn.net/u012746763/article/details/51823974

http://blog.csdn.net/Running_J/article/details/51505715


def load_data(data_file, field_idx0, field_idx1):
data = [[], []]
with open(data_file, 'r') as f:
num=len(f)
for line_num in range(1,num):
line = f[line_num].strip()
#if line[0] != '#':
fields = line.split(',')#此处修改 (分隔符用逗号隔开)
data[0].append(float(fields[field_idx0].strip()))
data[1].append(float(fields[field_idx1].strip()))
return data

支持的多log和图表的类型

  1. Notes:  
  2.     1. Supporting multiple logs.  
  3.     2. Log file name must end with the lower-cased ".log".  
  4. Supported chart types:  
  5.     0: Test accuracy  vs. Iters  
  6.     1: Test accuracy  vs. Seconds  
  7.     2: Test loss  vs. Iters  
  8.     3: Test loss  vs. Seconds  
  9.     4: Train learning rate  vs. Iters  
  10.     5: Train learning rate  vs. Seconds  
  11.     6: Train loss  vs. Iters  
  12.     7: Train loss  vs. Seconds  
caffe保存训练输出到log 并绘制accuracy loss曲线
看上去很简单,但折腾了大半天,因为lr是multistep,中间变化了两次,因此读的时候多读了两次迭代的次数,所以就和后面的loss和accuracy这些对应不上,因此需要在parse_log.sh中增加一行代码,

sed -i '/Iteration .* step/d' aux.txt

这样最后生成的log-data.train 和 log-data.test就对应上了。



也可以不使用parse_log.sh文件生成上面的两个文件,先使用parse_log.py生成两个文件,这里不会出现不一致现象,但是需要在 plot_training_log.py.example中修改一些内容:

修改32-33行:

                  test_key:{'Iters':0, 'Seconds':1, test_key + ' accuracy':3,
                             test_key + ' loss':4}}

修改115行为:

                 ## os.system('%s %s' % (get_log_parsing_script(), path_to_log)) (这条语句是调用parse_log.sh文件的)