最近在自己搭建的spark on yarn跑测试程序,提交代码之后就遇到Container exited with a non-zero exit code 15这个错误,仔细检查后发现是代码中创建sparkConf有setMaster("local[*]")
定位到问题代码处:
在平时开发中难免会本地测试一下然后提交集群验证,一定要注意提交到集群注释掉这个local,大多都会在spark-submit中指定master和deploy-mode。 以后在集群跑程序遇到这个code=15时就检查一下是否setMaster没有注释掉