因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置
合理地对 /spark-default.conf 进行配置,能够提高执行效率
---------------------------------------------------------------------------------------
先cp复制模板文件
然后添加配置信息
spark.master spark://master:7077
spark.default.parallelism 10
spark.driver.memory 2g
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.sql.shuffle.partitions 50