文件名称：最小384m-揭秘深度强化学习-彭伟
文件大小：2.61MB
文件格式：PDF
更新时间：2024-07-01 05:04:27
spark
spark.mesos.executor.memoryOverhead executor memory * 0.07, 最小384m 这个值是 spark.executor.memory 的补充。它用来 计算mesos任务的总内存。另外，有一个7%的 硬编码设置。最后的值将选 择 spark.mesos.executor.memoryOverhead 或 者 spark.executor.memory 的7%二者之间的大者 Property Name Default Meaning spark.shuffle.consolidateFiles false 如果设置为"true"，在shuffle期间，合并的中间文件将会被 创建。创建更少的文件可以提供文件系统的shuffle的效率。 这些shuffle都伴随着大量递归任务。当用ext4和dfs文件系 统时，推荐设置为"true"。在ext3中，因为文件系统的限 制，这个选项可能机器（大于8核）降低效率 spark.shuffle.spill true 如果设置为"true"，通过将多出的数据写入磁盘来限制内存 数。通过 spark.shuffle.memoryFraction 来指定spilling的阈 Shuffle行为(Behavior)