caffe: train error: Serializing 25 layers--- Check failed: proto.SerializeToOstream(&output)

时间:2022-01-24 10:48:49

I0221 21:47:41.826748  6797 solver.cpp:259]     Train net output #0: loss = 0.00413362 (* 1 = 0.00413362 loss)
I0221 21:47:41.826756  6797 solver.cpp:590] Iteration 9980, lr = 0.001
I0221 21:47:44.453655  6797 solver.cpp:468] Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel
I0221 21:47:44.453685  6797 net.cpp:948] Serializing 25 layers
F0221 21:47:47.096515  6797 io.cpp:69] Check failed: proto.SerializeToOstream(&output)
*** Check failure stack trace: ***
    @     0x7f06066beb7d  google::LogMessage::Fail()
    @     0x7f06066c0c7f  google::LogMessage::SendToLog()
    @     0x7f06066be76c  google::LogMessage::Flush()
    @     0x7f06066c151d  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f0606effe4e  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e1d30f  caffe::WriteProtoToBinaryFile()
    @     0x7f0606e20a46  caffe::Solver<>::SnapshotToBinaryProto()
    @     0x7f0606e206ec  caffe::Solver<>::Snapshot()
    @     0x7f0606e1fe72  caffe::Solver<>::Step()
    @     0x7f0606e1f1d3  caffe::Solver<>::Solve()
    @           0x416280  train()
    @           0x418206  main
    @     0x7f0605be376d  (unknown)
    @           0x414fe9  (unknown)
Aborted (core dumped)
d302@d302-MS-7816-04:~/wangxiao/caffe-master$


解决方案:  2016年8月14号 补充

caffe: train error:  Serializing 25 layers---  Check failed: proto.SerializeToOstream(&output)

前两天有园友来问我,这个问题有没有解决,我回答说:忘了,好久之前的了,果然今天就出现了这个问题,昨晚跑的 VGG,出现了相同的问题,可是我之前跑那个代码 一直没问题啊,呃呃呃,我看错误是:

Snapshotting to binary proto file /home/d302/wangxiao/caffe-master/wangxiao/bvlc_alexnet/caffe_alexnet_train_iter_10000.caffemodel

Check failed: proto.SerializeToOstream(&output)

我扫了一眼,保存的 caffemodel,发现: _iter_10000.caffemodel 是存在的,但是 _iter_10000.solverstate 不在,估计是保存的问题,难道是空间不够用了?我删除了其他无关的 model,在 8000次迭代产生的 model上继续训练,待会就知道是否是 磁盘空间不足导致的问题了。。。

目测,已经过了那个错误的点了,所以,解决这个问题的答案是:存储空间不足,清理磁盘空间吧 。。。

另外,感谢园友的提醒,他解决的方法是:

  原来是之前穿件文件用了sudo,跑程序的时候没有加sudo,导致权限不够,加了sudo后就ok了