文件名称：最小384-揭秘深度强化学习-彭伟
文件大小：2.61MB
文件格式：PDF
更新时间：2024-07-01 05:04:27
spark
spark.yarn.executor.memoryOverhead executorMemory * 0.07,最小384 分配给每个执行器的堆内存大小（以MB为单位）。它是VM开销、interned字 符串或者其它本地开销占用的内存。这往往随着执行器大小而增长。（典型 情况下是6%-10%） spark.yarn.driver.memoryOverhead driverMemory * 0.07,最小384 分配给每个driver的堆内存大小（以MB为单位）。它是VM开销、interned字 符串或者其它本地开销占用的内存。这往往随着执行器大小而增长。（典型 情况下是6%-10%） spark.yarn.queue default 应用程序被提交到的YARN队列的名称 spark.yarn.jar (none) Spark jar文件的位置，覆盖默认的位置。默认情况下，Spark on YARN将会 用到本地安装的Spark jar。但是Spark jar也可以HDFS中的一个公共位置。这 允许YARN缓存它到节点上，而不用在每次运行应用程序时都需要分配。指向 HDFS中的jar包，可以这个参数为"hdfs:///some/path" spark.yarn.access.namenodes (none) 你的Spark应用程序访问的HDFS namenode列表。例 如， spark.yarn.access.namenodes=hdfs://nn1.com:8032,hdfs://nn2.com:8032 Spark应用程序必须访问namenode列表，Kerberos必须正确配置来访问它 们。Spark获得namenode的安全令牌，这样Spark应用程序就能够访问这些 远程的HDFS集群。 spark.yarn.containerLauncherMaxThreads 25 为了启动执行者容器，应用程序master用到的最大线程数 spark.yarn.appMasterEnv. [EnvironmentVariableName] (none) 添加通过 EnvironmentVariableName 指定的环境变量到Application Master处理 YARN上的启动。用户可以指定多个该设置，从而设置多个环境变量。在 yarn-cluster模式下，这控制Spark driver的环境。在yarn-client模式下，这仅 仅控制执行器启动者的环境。 确保 HADOOP_CONF_DIR 或 YARN_CONF_DIR 指向的目录包含Hadoop集群的（客户端）配置文件。这些配置用于写数据到dfs和连 接到YARN ResourceManager。 在YARN上运行Spark 配置 Spark属性 在YARN上启动Spark