使用KETTLE实现数据的增量抽取的方法大致如下:
从目标表中读取最大的时间戳或者增量字段ID,作为条件,然后把源表中所有大于这个增量字段的数据读出来,插入到目标表当中去;
1.打开Kettle工具,打开新建的全量抽取流;
2.选择INPUT,再拖出来一个“表输入”控件
3.打开表输入2,配置相关参数,
在这里,选择数据库连接,连接目标表,然后通过select max 从目标表中找到最大的时间戳或者增量字段;传到表输入
4.源表输入配置
打开“表输入”,需要关注的就是划圈的几个地方,从表输入2中插入一个值,然后SQL条件中的?就是用这个替代的;确定就OK了.
Zftang