Kettle介绍
Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle目前包含五个产品:Spoon、Pan、Chef、Kitchen、Encr。
SPOON: 是一个图形用户界面,允许你通过图形界面来设计ETL转换过程(Transformation)和任务。
PAN: 转换(trasform)执行器;允许你批量运行由Spoon设计的ETL转换 (如使用一个时间调度器)。Pan是一个后台执行的程序,没有图形界面。
CHEF: 允许你创建任务(Job)。 任务通过允许每个转换,任务,脚本等等,更有利于自动化更新数据仓库的复杂工作。任务通过允许每个转换,任务,脚本等等。任务将会被检查,看看是否正确地运行了。
KITHCEN: 作业(job)执行器;允许你批量使用由Chef设计的任务 (如使用一个时间调度器)。KITCHEN也是一个后台运行的程序。
ENCR: 用来加密连接数据库密码与集群时使用的密码
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
安装部署
1、Kettle可以在http://kettle.pentaho.org/网站下载
下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可
2、7.1版本的kettle该版本需要用的1.8的JDK版本
3、解压之后直接到Kettle目录,如果Kettle部署在windows环境下,双击运行spoon.bat或Kettle.exe文件,即可
4、在数据库链接的过程中,可能会报某个数据库连接找不到的异常。那是因为没有对应的数据库链接驱动,请下载对应驱动后,放入kettle的lib文件夹。
Kettle使用及组件介绍
1 Kettle使用
Kettle提供了资源库方式的方式来整合所有的工作,但是因为资源库移植不方便,所以我们选择没有资源库;
1)创建一个新的transformation,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestTrans,kettle默认transformation文件保存后后缀名为ktr;
2)创建一个新的job,点击 保存到本地路径,例如保存到D:/etltest下,保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb;
2 组件树介绍
7.1版本