Spark streaming 作业需要注意的问题

根据实践，本文不断更新中。

1、java.lang.OutOfMemoryError: GC overhead limit exceeded
分析：因为streaming是长进程服务，如果当初分配堆太小，运行很长时间后会出现GC overhead limit exceeded问题，查看driver进程gc信息发现老年代使用率达到99.6%，故处理方法是提高driver堆大小，同时提高老年代大小。
处理：设置spark.driver.memory 6g (原来是2g), spark.driver.extraJavaOptions -XX:MaxPermSize=2g （原来默认是256m）