spark 编译遇到的错误及解决办法(四)

时间:2022-09-17 19:32:36
17/02/08 23:38:52 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

发现以上问题

首先应用submit代码如下

 ./spark-submit --master spark://master:7077 --class SparkPi /home/hadoop/Downloads/testproject.jar

根据问题提示,确认了集群中两个worker都是alive状态,猜想资源是否够?

所以在submit代码加入

./spark-submit --master spark://master:7077 --executor-memory 512m --class SparkPi /home/hadoop/Downloads/testproject.jar

问题解决!

问题二:之前发现sparkpi实例程序以submit形势传递到集群中运行,也返回结果,但是4040端口不能访问,且application的completed显示0

在排除网上的可能问题后,我发现是代码中的setMaster端口写错了或者是直接写成了local...