【From】 https://blog.csdn.net/u010990043/article/details/82842995
最近整理了一下spark SQL内置配。加粗配置项是对sparkSQL 调优性能影响比较大的项，小伙伴们按需酌情配置。后续会挑出一些通用调优配置，共大家参考。有不正确的地方，欢迎大家在留言区留言讨论。
| 配置项 | 默认值 | 概述 |
| spark.sql.optimizer.maxIterations | 100 | sql优化器最大迭代次数 |
| spark.sql.optimizer.inSetConversionThreshold | 10 | 插入转换的集合大小阈值 |
| spark.sql.inMemoryColumnarStorage.compressed | TRUE | 当设置为true时，SCAPK SQL将根据数据的统计自动为每个列选择压缩编解码器 |
| spark.sql.inMemoryColumnarStorage.batchSize | 10000 | 控制用于列缓存的批处理的大小。较大的批处理大小可以提高内存利用率和压缩率，但缓存数据时会出现OOM风险 |
| spark.sql.inMemoryColumnarStorage.partitionPruning | TRUE | 启用内存中的列表分区剪枝 |
| spark.sql.join.preferSortMergeJoin | TRUE | When true, 使用sort merge join 代替 shuffle hash join |
| spark.sql.sort.enableRadixSort | TRUE | 使用基数排序，基数排序性能非常快，但是会额外使用over heap.当排序比较小的Row时，overheap 需要提高50% |
| spark.sql.autoBroadcastJoinThreshold | 10L * 1024 * 1024 | 当执行join时，被广播到worker节点上表最大字节。当被设置为-1，则禁用广播。当前仅仅支持 Hive Metastore tables，表大小的统计直接基于hive表的源文件大小 |
| spark.sql.limit.scaleUpFactor | 4 | 在执行查询时，两次尝试之间读取partation数目的增量。较高的值会导致读取过多分区，较少的值会导致执行时间过长，因为浙江运行更多的作业 |
| spark.sql.statistics.fallBackToHdfs | FALSE | 当不能从table metadata中获取表的统计信息，返回到hdfs。这否有用取决与表是否足够小到能够使用auto broadcast joins |
| spark.sql.defaultSizeInBytes | Long.MaxValue | 在查询计划中表默认大小，默认被设置成Long.MaxValue 大于spark.sql.autoBroadcastJoinThreshold的值，也就意味着默认情况下不会广播一个表，除非他足够小 |
| spark.sql.shuffle.partitions | 200 | 当为join/aggregation shuffle数据时，默认partition的数量 |
| spark.sql.adaptive.shuffle.targetPostShuffleInputSize | 64 * 1024 * 1024byte | The target post-shuffle input size in bytes of a task. |
| spark.sql.adaptive.enabled | FALSE | 是否开启adaptive query execution（自适应查询执行） |
| spark.sql.adaptive.minNumPostShufflePartitions | -1 | 测试用 |
| spark.sql.subexpressionElimination.enabled | TRUE | When true, common subexpressions will be eliminated 当为真时，将删除公共子表达式 |
| spark.sql.caseSensitive | FALSE | 查询分析器是否区分大小写，默认情况下不区分。强烈建议不区分大小写 |
| spark.sql.constraintPropagation.enabled | 是否开启优化，在查询优化器期间推断和传播查询计划中的数据约束。对于某种类型的查询计划（例如有大量谓语和别名的查询），约束传播是昂贵的，会对整个运行时间产生负面影响。 | |
| spark.sql.parser.escapedStringLiterals | FALSE | 2.0之前默认值为true，知否默认是否。正常文字能否包含在正则表达式中。 |
| spark.sql.parquet.mergeSchema | FALSE | 若为true,在读取parquet数据源时，schema从所有文件中合并出来。否则如果没有可用的摘要文件，则从概要文件或随机文件中选择模式 |
| spark.sql.parquet.respectSummaryFiles | FALSE | 若为ture,假设parquet的所有部分文件和概要文件一致，在合并模式时会忽略他们。否则将会合并所有的部分文件 |
| spark.sql.parquet.binaryAsString | FALSE | 是否向下兼容其他parquet生产系统（eg impala or older version spark sql ），不区分字节数据和string数据写到parquet schema,这个配置促使spark sql将二进制数据作为string达到兼容 |
| spark.sql.parquet.int96AsTimestamp | TRUE | 是否使用Int96作为timestamp的存储格式，可以避免精度损失丢失纳秒部分，为其他parquet系统提供兼容（impala) |
| spark.sql.parquet.int64AsTimestampMillis | FALSE | 当为true，timestamp值将以Int64作为mlibs的存储扩展类型，这种模式微秒将被丢弃 |
| spark.sql.parquet.cacheMetadata | TRUE | 是否缓存parquet的schema数据元，可以提升静态数据的查询性能 |
| spark.sql.parquet.compression.codec | snappy | 支持类型：uncompressed", "snappy", "gzip", "lzo"。 指定parquet写文件的压缩编码方式 |
| spark.sql.parquet.filterPushdown | TRUE | 是否开启parquet过滤条件下推 |
| spark.sql.parquet.writeLegacyFormat | FALSE | spark sql在拼接schema时是否遵循parquet的schema的规范 |
| spark.sql.parquet.output.committer.class | org.apache.parquet.hadoop.ParquetOutputCommitter | parquet输出提交器类，同城必须是org.apache.hadoop.mapreduce.OutputCommitter的子类，如果不是将不会创建数据源摘要，即使配置开启了parquet.enable.summary-metadata |
| spark.sql.parquet.enableVectorizedReader | TRUE | 开启parquet向量解码 |
| spark.sql.orc.filterPushdown | FALSE | 是否开启条件下推到orc文件写 |
| spark.sql.hive.verifyPartitionPath | FALSE | 当为true时，在读取HDFS中存储的数据时，检查表根目录下的所有分区路径 |
| spark.sql.hive.metastorePartitionPruning | TRUE | 当为true，spark sql的谓语将被下推到hive metastore中，更早的消除不匹配的分区，会影响到违背转换成文件源关系的hive表 |
| spark.sql.hive.manageFilesourcePartitions | TRUE | 是否使用hive metastore管理spark sql的 dataSource表分区,若为true，dataSource表会在执行计划期间使用分区剪枝 |
| spark.sql.hive.filesourcePartitionFileCacheSize | 250 * 1024 * 1024 | 当非0时，开启将分区文件数据元缓存到内存中，所有表共享一个缓存，当开启 hive filesource partition management（spark.sql.hive.manageFilesourcePartitions）时才会生效 |
| spark.sql.hive.caseSensitiveInferenceMode | INFER_AND_SAVE | 设置无法从hive表属性读取分区大小写模式时所采取的操作，虽然Spice SQL本身不区分大小写，但hive兼容的文件格式如parquet。Spark sql必须使用一个保持情况的模式，当查询由包含区分大小写字段名或查询的文件支持的任何表可能无法返回准确的结果时。有效选项包括INFER_AND_SAVE(默认模式——从基础数据文件推断出区分大小写的模式，并将其写入表属性），INFER_ONLY（推断schema但不尝试将其写入表属性）和NEVER_INFER（回退到使用区分大小写间接转移模式代替推断) |
| spark.sql.optimizer.metadataOnly | TRUE | 当为true时，启用仅使用表的元数据的元数据查询优化来生成分区列，而不是表扫描。当扫描的所有列都是分区列，并且查询具有满足不同语义的聚合运算符时，它适用。 |
| spark.sql.columnNameOfCorruptRecord | _corrupt_record | 当json/csv数据内部列解析失败时，失败列的名称 |
| spark.sql.broadcastTimeout" | 5*60 | 在broadCast join时 ，广播等待的超时时间 |
| spark.sql.thriftserver.scheduler.pool | 为JDBC客户端会话设置公平调度程序池 | |
| spark.sql.thriftServer.incrementalCollect | FALSE | 当TRUE时，启用增量集合以在thrift server中执行 |
| spark.sql.thriftserver.ui.retainedStatements | 200 | JDBC/ODBC Web用户界面历史记录中SQL语句的数量 |
| spark.sql.thriftserver.ui.retainedSessions | 200 | JDBC/ODBC Web UI历史中保存的SQL客户端会话数 |
| spark.sql.sources.default | parquet | 输入输出默认数据元 |
| spark.sql.hive.convertCTAS | FALSE | 如果时true，将使用spark.sql.sources.default.设置数据源，不指定任何存储属性到hive ctas语句 |
| spark.sql.hive.gatherFastStats | TRUE | 在修复表分区时，将快速收集STATS（文件数量和所有文件的总大小），以避免HIVE转移子中的顺序列表。 |
| spark.sql.sources.partitionColumnTypeInference.enabled | TRUE | 是否自动推断分区列的数据类型 |
| spark.sql.sources.bucketing.enabled | TRUE | 当false时，分桶表当作普通表处理 |
| spark.sql.crossJoin.enabled | FALSE | 当false时，如果查询中语法笛卡儿积 却语法中没有显示join，将会抛出异常 |
| spark.sql.orderByOrdinal | TRUE | 当为true时，排序字段放置到seleect List，否则被忽略 |
| spark.sql.groupByOrdinal | TRUE | 当为true时，按组子句的序号被视为选择列表中的位置。当为false时，序数被忽略。 |
| spark.sql.groupByAliases | TRUE | group by后的别名是否能够被用到 select list中，若为否将抛出分析异常 |
| spark.sql.sources.parallelPartitionDiscovery.threshold | 32 | 允许在driver端列出文件的最大路径数。如果在分区发现期间检测到的路径的数量超过该值，则尝试用另一个SCAPLE分布式作业来列出文件。这适用于parquet、ORC、CSV、JSON和LIbSVM数据源。 |
| spark.sql.sources.parallelPartitionDiscovery.parallelism | 10000 | 递归地列出路径集合的并行数，设置阻止文件列表生成太多任务的序号 |
| spark.sql.selfJoinAutoResolveAmbiguity | TRUE | 自动解决子链接中的连接条件歧义，修复bug SPARK-6231 |
| spark.sql.retainGroupColumns | TRUE | 是否保留分组列 |
| spark.sql.pivotMaxValues | 10000 | |
| spark.sql.runSQLOnFiles | TRUE | 当为true,在sql查询时，能够使用dataSource.path作为表(eg:"select a,b from hdfs://xx/xx/*") |
| spark.sql.codegen.wholeStage | TRUE | 当为true,多个算子的整个stage将被便宜到一个java方法中 |
| spark.sql.codegen.maxFields | 100 | 在激活整个stage codegen之前支持的最大字段（包括嵌套字段) |
| spark.sql.codegen.fallback | TRUE | 当为true,在整个stage的codegen,对于编译generated code 失败的query 部分，将会暂时关闭 |
| spark.sql.codegen.maxCaseBranches | 20 | 支持最大的codegen |
| spark.sql.files.maxPartitionBytes | 128 * 1024 * 1024 | 在读取文件时，一个分区最大被读取的数量，默认值=parquet.block.size |
| spark.sql.files.openCostInBytes | 4 * 1024 * 1024 | 为了测定打开一个文件的耗时，通过同时扫描配置的字节数来测定，最好是过度估计，那么小文件的分区将比具有较大文件的分区更快（首先调度 |
| spark.sql.files.ignoreCorruptFiles | FALSE | 是否自动跳过不正确的文件 |
| spark.sql.files.maxRecordsPerFile | 0 | 写入单个文件的最大条数，如果时0或者负数，则无限制 |
| spark.sql.exchange.reuse | TRUE | planer是否尝试找出重复的 exchanges并复用 |
| spark.sql.streaming.stateStore.minDeltasForSnapshot | 10 | 在合并成快照之前需要生成的状态存储增量文件的最小数目 |
| spark.sql.streaming.checkpointLocation | 检查点数据流的查询的默认存储位置 | |
| spark.sql.streaming.minBatchesToRetain | 100 | 流式计算最小批次长度 |
| spark.sql.streaming.unsupportedOperationCheck | TRUE | streaming query的logical plan 检查不支持的操作 |
| spark.sql.variable.substitute | TRUE | |
| spark.sql.codegen.aggregate.map.twolevel.enable | 启用两级聚合哈希映射。当启用时，记录将首先“插入/查找第一级、小、快的映射，然后在第一级满或无法找到键时回落到第二级、更大、较慢的映射。当禁用时，记录直接进入第二级。默认为真 | |
| spark.sql.view.maxNestedViewDepth | 100 | 嵌套视图中视图引用的最大深度。嵌套视图可以引用其他嵌套视图，依赖关系被组织在有向无环图（DAG）中。然而，DAG深度可能变得太大，导致意外的行为。此配置限制了这一点：当分析期间视图深度超过该值时，我们终止分辨率以避免潜在错误。 |
| spark.sql.objectHashAggregate.sortBased.fallbackThreshold | 128 | 在ObjectHashAggregateExec的情况下，当内存中哈希映射的大小增长过大时，我们将回落到基于排序的聚合。此选项为哈希映射的大小设置行计数阈值。 |
| spark.sql.execution.useObjectHashAggregateExec | TRUE | 是否使用 ObjectHashAggregateExec |
| spark.sql.streaming.fileSink.log.deletion | TRUE | 是否删除文件流接收器中的过期日志文件 |
| spark.sql.streaming.fileSink.log.compactInterval | 10 | 日志文件合并阈值，然后将所有以前的文件压缩到下一个日志文件中 |
| spark.sql.streaming.fileSink.log.cleanupDelay | 10min | 保证一个日志文件被所有用户可见的时长 |
| spark.sql.streaming.fileSource.log.deletion | TRUE | 是否删除文件流源中过期的日志文件 |
| spark.sql.streaming.fileSource.log.compactInterval | 10 | 日志文件合并阈值，然后将所有以前的文件压缩到下一个日志文件中 |
| spark.sql.streaming.fileSource.log.cleanupDelay | 10min | 保证一个日志文件被所有用户可见的时长 |
| spark.sql.streaming.schemaInference | FALSE | 基于文件的流,是否推断它的模式 |
| spark.sql.streaming.pollingDelay | 10L(MILLISECONDS) | 在没有数据可用时延迟查询新数据多长时间 |
| spark.sql.streaming.noDataProgressEventInterval | 10000L(MILLISECONDS) | 在没有数据的情况下，在两个进度事件之间等待时间 |
| spark.sql.streaming.metricsEnabled | FALSE | 是否为活动流查询报告DoopWalth/CODAHALE度量 |
| spark.sql.streaming.numRecentProgressUpdates | 100 | streaming query 保留的进度更新数量 |
| spark.sql.statistics.ndv.maxError | 0.05 | 生成列级统计量时超对数G+++算法允许的最大估计误差 |
| spark.sql.cbo.enabled | FALSE | 在设定true时启用CBO来估计计划统计信息 |
| spark.sql.cbo.joinReorder.enabled | FALSE | Enables join reorder in CBO. |
| spark.sql.cbo.joinReorder.dp.threshold | 12 | The maximum number of joined nodes allowed in the dynamic programming algorithm |
| spark.sql.cbo.joinReorder.card.weight | 0.07 | The weight of cardinality (number of rows) for plan cost comparison in join reorder: rows * weight + size * (1 - weight) |
| spark.sql.cbo.joinReorder.dp.star.filter | FALSE | Applies star-join filter heuristics to cost based join enumeration |
| spark.sql.cbo.starSchemaDetection | FALSE | When true, it enables join reordering based on star schema detection |
| spark.sql.cbo.starJoinFTRatio | 0.9 | Specifies the upper limit of the ratio between the largest fact tables for a star join to be considered |
| spark.sql.session.timeZone | TimeZone.getDefault.getID | 时间时区 |
| spark.sql.windowExec.buffer.in.memory.threshold | 4096 | 窗口操作符保证存储在内存中的行数的阈值 |
| spark.sql.windowExec.buffer.spill.threshold | spark.sql.windowExec.buffer.in.memory.threshold | 窗口操作符溢出的行数的阈值 |
| spark.sql.sortMergeJoinExec.buffer.in.memory.threshold | Int.MaxValue | 由sortMergeJoin运算符保证存储在内存中的行数的阈值 |
| spark.sql.sortMergeJoinExec.buffer.spill.threshold | spark.sql.sortMergeJoinExec.buffer.in.memory.threshold | 由排序合并连接运算符溢出的行数的阈值 |
| spark.sql.cartesianProductExec.buffer.in.memory.threshold | 4096 | 笛卡尔乘积算子保证存储在内存中的行数的阈值 |
| spark.sql.cartesianProductExec.buffer.spill.threshold | spark.sql.cartesianProductExec.buffer.in.memory.threshold | 笛卡尔乘积算子溢出的行数阈值 |
| spark.sql.redaction.options.regex | "(?i)url".r |
即便join的hive表没有10M,也没有触发 mapjoin[解决方案]
spark在join的时候,用来判断一个表的大小是否达到了10M这个限制,是不会去计算这个表在hdfs上的具体的文件大小的,而是使用hive metadata中的信息,具体如下图:
explain出来spark的执行计划如下:
== Physical Plan ==
*Project [device#57, pkg#58]
+- *BroadcastHashJoin [pkg#58], [apppkg#62], Inner, BuildRight
:- *Filter isnotnull(pkg#58)
: +- HiveTableScan [device#57, pkg#58], MetastoreRelation dm_sdk_mapping, device_applist, [isnotnull(day#56), (cast(day#56 as double) = 2.0180501E7)]
+- BroadcastExchange HashedRelationBroadcastMode(List(input[0, string, false]))
+- *Filter isnotnull(apppkg#62)
+- HiveTableScan [apppkg#62], MetastoreRelation dm_sdk_mapping, app_category_mapping
当有些hive没有totalSize这个信息的时候,spark就会用sortMergeJoin来做join了,可以使用下面的命令重新生成metadata信息:
ANALYZE TABLE dm_sdk_mapping.app_category_mapping COMPUTE STATISTICS
---------------------
作者：sunkl_
来源：CSDN
原文：https://blog.csdn.net/u010990043/article/details/82842995
版权声明：本文为博主原创文章，转载请附上博文链接！