Presto查询执行模型

时间:2022-08-17 00:51:24

Presto查询执行模型

Presto执行SQL语句,并将这些语句转换为在分布式协调器和工作者集群上执行的查询。

  • Statement
    statement语句是我们输入的SQL ,执行语句时,Presto会创建一个查询以及一个查询计划,然后将这个查询计划生成可以执行的查询Query。分配给一系列Presto。
  • Query
    一个语句可以被认为是传递给Presto的SQL文本,而一个查询是指为了执行该语句而实例化的配置和组件。 查询包含阶段,任务,拆分,连接器以及其他组件和数据源协同工作以产生结果。Query是由是由各个Worker 和相关的Stage 组成。

  • Stage
    当Presto执行一个查询时,它通过将执行分解为一个阶段层次结构来实现。Stage为树状结构,并不会实际执行。每个查询都有一个根阶段,负责汇总其他阶段的输出, 阶段是协调员用来为分布式查询计划建模的阶段。只是Coordinator进行管理和建模的逻辑概念。

  • Exchange
    Stage用来连接另一个Stage的。

  • Task
    Task是需要实际运行在Presto的各个Worker节点上的。一个Stage被拆分为多个Task,每个Task处理多个Split,一个Task 又可以分为多个Driver ,从而并行执行一个Task.

  • Driver
    作用于一个Split的一系列Operator的集合。一个Driver拥有一个输入和一个输出。

  • Operator
    一个Operator代表一个Split的一种操作,依次读取Split。列如过滤,加权,转换。均会以Page 为最小单位读取输入数据,产生输出数据。

  • Split
    一个大的数据集之中的一个小的子集。Presto执行查询时,首先会从Coordinator得到一个表对应的所有Split,然后根据查询计划,选择合适的节点运行Task 处理Split。

  • Page
    presto处理的最小数据单元,一个Page对象包含多个Block对象,最大Page为1MB,最多16 * 1024行数据。

下面用一个图来整体描述:
Presto查询执行模型

翻译自官网 和《Presto技术内幕》