今天在对LDA进行不同參数训练模型。记录其avglogLikelihood和logPerplexity，以便推断模型训练是否收敛时，产生了一个令人极度崩溃的事儿：程序在辛辛苦苦跑了7.3h后...挂了！
证据例如以下：
早上一来看这张图，好像跑完了，然后点进去看...然后就没有然后了
每次迭代都须要9min左右，迭代了近50次跟我说挂了，确实挺让人奔溃的。
先说说我的配置以及LDA參数吧
5 * 40cores cpu
5* 500g memory
參数：
没办法，既然都崩溃了，跟进去找问题呗
磁盘没空间了！
这是什么鬼...于是常规的，先从网上找找，看看有没有人有类似的问题。结果还真让我发现两个
Spark：java.io.IOException: No space left on device
发现第一个的回答中比較实用的是这个：
同一时候，结合第二个中的解释
基本上定位到应该是spark.local.dir文件夹用来存放shuffle产生的暂时文件的空间不够用了。
好吧，那看看自己的配置咯
这下子好玩儿了。配置的local文件夹空间剩余杠杠的，机器上还剩大概600G（关键是总共5台啊。！
！总共至少3T空间）。跟我说No space left on device确定不是在逗我的？好吧，看来应该不是shuffle文件存储的空间不足了。
怎么办？问题总不能摆着儿吧，没办法，那就跟进去spark的UI慢慢研究咯
等等！
还真发现点儿规律，为什么报错的都是同一台机器。然后想到之前的一个任务也有fails，赶紧打开看看，验证一下
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="">
看来果然是这样了。如今规律是发现了，那为什么会这样啊？刚才看到的bigdata04上的磁盘空间是全然够用的啊，真是奇了怪了！
等等！突然想起来，我好像是在这台机启动的任务
也就是说，bigdata04是我的driver。
原来如此。既然是driver。那么跟存储有关的就仅仅有提交任务时配置的參数--driver-memory 50g这个了。
并且。好像刚才查看运行过程的时候。shuffle write也是非常大的
那就试着把--driver-memory这个參数调大点吧。
先记录到这里，等结果出来后再看看。假设没问题了再改动本文总结一下！