caffe绘制训练过程的loss和accuracy曲线

时间:2021-11-27 08:11:03

在caffe的训练过程中,大家难免想图形化自己的训练数据,以便更好的展示结果。如果自己写代码记录训练过程的数据,那就太麻烦了,caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  caffe-master/tools/extra/extract_seconds.py和 caffe-master/tools/extra/plot_training_log.py.example ,使用方法如下:

1.记录训练日志

在训练过程中的命令中加入一行参数 ,实现Log日志的记录

[python] view plain copy
  1. TOOLS=./build/tools    
  2. GLOG_logtostderr=0 GLOG_log_dir=deepid/deepid2/Log/ \    
  3. $TOOLS/caffe train \    
  4.   --solver=deepid/deepid2/deepid_solver.prototxt    


其中目录改成自己系统的目录,这样训练结束之后,会在Log文件夹中生成每次训练的Log日志


上面代码运行有错误未实现,本人是直接记录下程序运行时间,在 tmp 目录下寻找相应的log文件。


2.解析训练日志

将最上面说的3个脚本文件拷贝到Log 文件夹下,执行:

[python] view plain copy
  1. ./parse_log.sh caffe.log   

后面的参数为log文件名,这样就会在当前文件夹下生成一个.train文件和一个.test文件

注:有时在生成的日志文件的文件名中,还会携带着关于该log文件的时间,如文件名可能为:caffe.deeplearning.dltest.log.INFO.20160817-155855.4426  ,这时在进行 log 文件操作时,需要将 .log 后面的信息删除,否则会出现错误。


3.生成图片

执行

[python] view plain copy
  1. ./plot_training_log.py.example 0  save.png caffe.log   


就可以生成训练过程中的Test accuracy  vs. Iters 曲线,其中0代表曲线类型, save.png 代表保存的图片名称

caffe中支持很多种曲线绘制,通过指定不同的类型参数即可,具体参数如下

[python] view plain copy
  1. Notes:    
  2.     1. Supporting multiple logs.    
  3.     2. Log file name must end with the lower-cased ".log".    
  4. Supported chart types:    
  5.     0: Test accuracy  vs. Iters    
  6.     1: Test accuracy  vs. Seconds    
  7.     2: Test loss  vs. Iters    
  8.     3: Test loss  vs. Seconds    
  9.     4: Train learning rate  vs. Iters    
  10.     5: Train learning rate  vs. Seconds    
  11.     6: Train loss  vs. Iters    
  12.     7: Train loss  vs. Seconds  


最后,看一下效果图。

caffe绘制训练过程的loss和accuracy曲线caffe绘制训练过程的loss和accuracy曲线