一、kettle是什么?
Kettle,简称ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少。kettle支持图形化的GUI设计界面,然后可以以工作流的形式流转,在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现,其中最主要的我们通过熟练的应用它,减少了非常多的研发工作量,提高了我们的工作效率。
二、应用场景
春节期间,客服人员值班需要去查看数据报表,根据报表去对单据进行操作,但是这些报表数据量很大会影响到性能且特殊,一般情况下不需要用到,所以无需、也没必要上线至到系统里面,这样子就需要我们用sql来定期导这份报表并交付给用户,这个时候就需要用到kettle来替我们自动的实现此需求,而不是每天呆呆的打开电脑远程进行导报表然后发给用户。
三、实操
1、工具安装
工具包:kettle下载:https://community.hitachivantara.com/s/article/data-integration-kettle
Java1.8:kettle是纯java编写,所以也需要安装jdk,版本1.8 :https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
下载后双击安装,默认安装即可,然后配置境变量,
② 打开环境变量配置。计算机→属性→高级系统设置→高级→环境变量,在系统变量中配置。
配置JAVA_HOME。新建,变量名JAVA_HOME,变量值,jdk路径,我的路径是C:\Program Files\Java\jdk1.8.0_121,保存。
③ 配置CLASSPATH。新建,变量名CLASSPATH,变量值,.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(第一个分号前前面有一个点)。
④ 配置CLASSPATH。新建,变量名CLASSPATH,变量值,.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar(第一个分号前前面有一个点)。
⑤ 验证
⑥因为kettle主要是对数据库进行操作,所以需要提前将数据库的jar包放到lib文件夹下边,比如我要操作的库是mysql,就需要将mysql的jar包放在lib目录下(https://dev.mysql.com/downloads/connector/j/)
2、运行kettle并编写程序
1、双击运行启动脚本spoon.bat就可以了
基础组件不进行详细介绍
2、在主对象树,右键新建一个转换
在核心对象,拉取一个输入功能的框,这里选择表输入,可以让我们输入sql生成的报表
3、输入表输入的步骤的名字,这里我命名叫做“表输入”,命名能清晰描述即可,然后输入要执行的sql
4、双击编辑信息填入要连接的数据库信息,然后测试,没问题的话点保存,有问题的话检查下信息是否填错。
5、到这里就定义好要输入的表了,接着就将这些sql所生产的报表进行字段选择确认、或者是将生产的字段转换都可以,所以选择一个字段选择
6、将表输入和字段选择连接起来,按ctrl可以进行连接
7、双击字段选择进行编辑信息,获取选择的字段,然后选择清除并增加所有,就可以将表输入那里获取的字段都添加进来,并且可以改字段名、长度、精度、这里默认即可
8、字段选择好了就要将字段、将数据输出出来,所以选一个Microsoft Excel 输出,然后连接字段选择,并进行编辑。
再选择内容,进行选择字段内容
9、左边工具栏选择作业里面的从结果获取文件,供我们获取执行好的文件进行后面的执行任务发送邮件用,选择好了并进行连接
10、然后运行
然后转换完成就会在我定义好的路径里面生产文件了
打开看看
到这里转换的部分就完成了,接下来就进行邮件发送了
10、新建一个作业,供发送邮件用
然后选择一个开始,表示这个任务的开始,再拉取一个转换,表示这这任务开始将我们需要转换成邮件的内容进行转换,然后进行连接
12、连接需要转换的文件,就是我们最开始创建的转换sql的那个文件
13、再拉起一个发送邮件,供我们发送邮件用,并编辑信息
多个邮箱时用空号隔开
填写发送的邮箱的信息
添加邮件信息
添加附件
至此,kettle的工作就完成了,现在在下一步步骤里面验证一下
三、设置定时任务
1、先看下路径存放位置
/data/kettle_file/material
/data/kettle_file/material/reports文件夹专门放生产的报表的
3、编写定时执行的脚本
4、执行一下脚本
5、设置定时任务,我是写在脚本的,kettle自带的没用过
每天早上9点发一次,22号的下午2点再单独发一次
6、查看下邮件,没问题;