Kettle数据抽取---增量抽取

时间:2022-12-29 13:01:52

使用KETTLE实现数据的增量抽取的方法大致如下:

 

从目标表中读取最大的时间戳或者增量字段ID,作为条件,然后把源表中所有大于这个增量字段的数据读出来,插入到目标表当中去;

 

1.打开Kettle工具,打开新建的全量抽取流;

Kettle数据抽取---增量抽取

 

2.选择INPUT,再拖出来一个“表输入”控件

Kettle数据抽取---增量抽取

3.打开表输入2,配置相关参数,

 

在这里,选择数据库连接,连接目标表,然后通过select max 从目标表中找到最大的时间戳或者增量字段;传到表输入

 Kettle数据抽取---增量抽取

 

4.源表输入配置

 

打开“表输入”,需要关注的就是划圈的几个地方,从表输入2中插入一个值,然后SQL条件中的?就是用这个替代的;确定就OK.

 

 Kettle数据抽取---增量抽取

 

 

  Zftang