~/spark/conf/spark-default.conf 配置文件

时间:2023-09-21 08:46:14

因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置

合理地对 /spark-default.conf  进行配置,能够提高执行效率

---------------------------------------------------------------------------------------

先cp复制模板文件

然后添加配置信息

 spark.master                       spark://master:7077
spark.default.parallelism 10
spark.driver.memory 2g
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.sql.shuffle.partitions 50