书中简介
注意Tree和Rules的概念
1) 将SQL语句通过词法和语法解析生成未绑定的逻辑计划(包含Unresolved
Relation、Unresolved Function和Unresolved Attribute),然后在后续步骤中使用不同的Rule应用到该逻辑计划上;
2) Analyzer使用Analyzer Rules,配合数据元数据(如Sessioncatalog或Hive Metastore等),完善未绑定的逻辑计划的属性而转换成绑定的逻辑计划。具体流程是先实例化一个Simple Analyzer,然后遍历预先定义好的Batch,通过父类的Rule Exector的执行方法运行Batch里面的Rules,每个Rule会对未绑定的逻辑计划进行处理,有些可以通过一次解析处理,有些需要多次迭代,迭代到FixPoint次数迭代或前后两次的树结构没有变化。
3) Optimizer使用Optimization Rules,将绑定的逻辑计划进行合并、列裁剪和过滤器下推等优化工作后生成优化的逻辑计划。
4) Planner使用Planning Strategies,对优化的逻辑计划进行转换(Transform)生成可以执行的物理计划。根据过去的性能统计数据,选择最佳的物理执行计划CostModel,最后可以执行的物理执行计划树,即得到SparkPlan。
5) 在最终真正执行物理执行计划前,还要进行preparations规则处理,最后调用SparkPlan的execute执行计算RDD