文件名称：基于成本的Spark SQL优化器框架
文件大小：751KB
文件格式：PDF
更新时间：2022-05-20 08:13:38
Spark
我们把基于成本的优化器框架贡献给社区版本Spark 2.2。在我们的框架中，我们计算每个数据库操作符的基数和输出大小。通过可靠的统计和精确的估算，我们能够在这些领域做出好的决定：选择散列连接（hash join）操作的正确构建端（build side），选择正确的连接算法（如broadcast hash join与 shuffled hash join）， 调整连接的顺序等等。这个基于成本的优化器框架对Spark SQL查询的性能有很好的提升 。在这次演讲中，我们将展示Spark SQL的新的基于成本的优化器框架及其对TPC-DS查询的性能影响。