参考以下网页:
http://blog.csdn.net/u012746763/article/details/51823974
http://blog.csdn.net/Running_J/article/details/51505715
def load_data(data_file, field_idx0, field_idx1):
data = [[], []]
with open(data_file, 'r') as f:
num=len(f)
for line_num in range(1,num):
line = f[line_num].strip()
#if line[0] != '#':
fields = line.split(',')#此处修改 (分隔符用逗号隔开)
data[0].append(float(fields[field_idx0].strip()))
data[1].append(float(fields[field_idx1].strip()))
return data
支持的多log和图表的类型
看上去很简单,但折腾了大半天,因为lr是multistep,中间变化了两次,因此读的时候多读了两次迭代的次数,所以就和后面的loss和accuracy这些对应不上,因此需要在parse_log.sh中增加一行代码,sed -i '/Iteration .* step/d' aux.txt
这样最后生成的log-data.train 和 log-data.test就对应上了。
也可以不使用parse_log.sh文件生成上面的两个文件,先使用parse_log.py生成两个文件,这里不会出现不一致现象,但是需要在 plot_training_log.py.example中修改一些内容:
修改32-33行:
test_key:{'Iters':0, 'Seconds':1, test_key + ' accuracy':3,
test_key + ' loss':4}}
修改115行为:
## os.system('%s %s' % (get_log_parsing_script(), path_to_log)) (这条语句是调用parse_log.sh文件的)