Kettle增量插入和更新

时间:2022-12-01 11:21:39

将数据源A库中的某张表的数据插入更新到数据库B中。

​为方便演示,我们在数据库A和数据库B中分别创建表userA和表userB。最终目标为将数据表userA中的数据插入更新到数据表userB中。

create database testA;

use testA;

create table ​​userA​​(

​id​​int(10) primary key,

​name​​ varchar(50),

​age​​ int(3)

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

insert into userA values(1,'张三',25);

insert into userA values(2,'李四',29);

insert into userA values(3,'王五',28);

insert into userA values(4,'赵六',28);

create database testB;

use testB; create table ​​userB​​(

​idB​​int(10) primary key,

​nameB​​ varchar(50),

​ageB​​ int(3)

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

insert into userB values(1,'张三',20);

insert into userB values(2,'李四',21);

insert into userB values(3,'王五',22);

操作步骤

1、运行软件,进入主界面。点击左上角的 文件 → 新建 → 转换新建一个转换,并保存,转换的后缀名为ktr。

Kettle增量插入和更新

2、点击面板左侧的 主对象树 ,选择 DB连接 右键,选择 新建 或 新建数据库连接向导 分别创建对数据库A和数据库B的连接。

Kettle增量插入和更新

Kettle增量插入和更新

选择新建选项的操作视图

Kettle增量插入和更新

选择新建数据库连接向导选项的操作视图1

Kettle增量插入和更新

选择新建数据库连接向导选项的操作视图 2

Kettle增量插入和更新

选择“新建数据库连接向导”选项的操作视图 3

注意:如果在点击测试连接时出现下图所示错误,检查我们的安装目录下的lib中是否有对应数据库连接的jar包文件(如mysql的jar文件:mysql-connector-java-5.1.6-bin.jar),下载对应的jar,放到lib文件夹下,重启kettle软件,即可。

Kettle增量插入和更新

3、点击面板左侧的 核心对象 ,选择 输入文件夹下的 表输入 并把它拖到右侧的编辑区中。

Kettle增量插入和更新

4、双击编辑区的表输入图标,编辑数据输入源。

Kettle增量插入和更新

5、点击面板左侧的 核心对象 ,选择 输出文件夹下的 插入/更新 并把它拖到右侧的编辑区中,按住 shift 画线连接 表输入

Kettle增量插入和更新

6、双击编辑区的“插入/更新”图标,编辑控件内容。

Kettle增量插入和更新

用来查询的关键字,此处只选择主键id,表示这里按照id查询,如果此id存在,则更新数据,若不存在则插入数据。

7、到这里,我们最简单的一个插入/更新数据的转换已经建立完成了,点击“校验这个转换”,Kettle会校验并给出简单的报告。没有任何问题。

Kettle增量插入和更新

8、点击“运行这个转换”,选择“本地执行”,点击“启动”来执行这个转换。

Kettle增量插入和更新

9、转换成功后,我们可以在控制台中看到如下信息。检查本地数据库,数据库A的userA表中的数据已经全部被插入更新到了数据库B的userB表中。

Kettle增量插入和更新

注:此示例适用于插入和更新目标源数据,无法将已经源表中的删除的记录同步到目标表中

Kettle增量插入和更新