Kettle基本概念学习

时间:2023-07-02 17:20:11

一,理解开发环境与生产环境。

比如,在windows或mac下设计好流程之后,把该设计文件上传到linux集群的机器上执行。那么,在windows下进行的工作即为开发环境,任务具体在linxu机器上执行即为生产环境。

二,Kettle转换

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤。在Kettle中,数据的单位是行,数据流就是数据行从一个步骤到另一个步骤的移动。

步骤:是转换的基本组成部分,以图标的形式出现。如(表输入、文本文件输出)。步骤将数据写到与之相连的一个或多个输出跳,再传送到跳的另一端的步骤。这说明,跳是步骤之间带箭头的连线,其实是两个步骤之间的,被称为行集(rowset)的,数据行缓存。(行集的大小可以在转换里定义)

一个步骤的数据发送可以设置为轮流发送和复制发送;轮流发送:将数据行依次发给每一个输出跳;复制发送:将全部数据行发送给所有输出跳。(shift + 鼠标左键 可以快速地新建一个跳)

在Kettle中,所有的步骤都以并发的方式执行,当转换启动后,所有的步骤都同时启动,从它们的输入跳中读取数据,并把处理过的数据写到输出跳,直到输入跳里不再有数据,就中止步骤的运行。当所有的步骤都中止了,整个转换就中止了。数据行:一个数据行是零到多个字段的集合。

三,Kettle作业

作业包括一个或多个作业项,作业项以某种顺序来执行。

作业项:与转换中的步骤类似,作业项也以图标的方式图形化展示。作业项之间可以传递结果对象(result object)。结果对象里包含了数据行,它们不是以流的方式来传递的。而是等一个作业项执行完了,再传递给下一个作业项。默认情况下,所有的作业项都是以串行的方式执行的。

作业跳:作业之间的连线称为作业跳。作业里每个作业项的不同运行结果决定了作业的不同执行路径。对作业项的运行结果判断如下:

1,无条件执行:不论上一个作业项执行成功与否,下一个作业项都会执行。标识为,黑色的连线,上面有一个锁的图标

2,当运行结果为真时执行:标识为,绿色的连线,上面有一个钩号

3,当运行结果为假时执行:标识为,红色的连线,上面有一个红色的停止图标

Kettle使用回溯算法来执行所有的作业项。即执行作业中的某条路径的某个节点时,要依次执行这个节点的所有子路径,直到没有再可以执行的子路径,就返回该节点的上一个节点,再反复该过程。

注意:在作业中定义的跳是控制流,在转换中定义的跳是数据流。

四,Kettle工具

Spoon:图形界面工具,快速设计和维护复杂的ETL工作流。

Kitchen:运行作业的命令行工具

Pan:运行转换的命令行工具

Carte:轻量级的Web服务器,用来远程执行转换或作业

五,版本命名规则

GA(General Availability)releases:稳定发布版

Release candidates:候选版本  如, ...-RCxx

Milestone releases:最新的里程碑版本,里面都会有一些新功能  如,...-Mxx

Nightly builds:每天的build版本、最新的版本、也是最不稳定的版本

小结:Spoon是kettle的集成开发环境,也就是说,在Spoon里面设计好作业或者转换。作业和转换可以在图形界面里执行,但是这只是在开发、测试和调试阶段。在开发完成后,需要部署到实际运行环境中,在部署阶段Spoon就很少用到了。