文件名称:Kettle增量同步.rar
文件大小:29KB
文件格式:RAR
更新时间:2023-07-23 10:43:58
Kettle 增量数据同步
Kettle增量同步,里边包含项目文件可能需要你新建数据库。源数据为Oracle,目标数据库为PostgreSQL. 增量记录表.SQL 用来生成 edp_etl_record 表 记录每次更新数据的执行记录过程。 更新时先取出edp_etl_record 表中 最新一条数据中的 data_range_to 列的值,同时 取出 需要更新的表中的唯一键(可以ID或时间戳)最大值,在需要抽取的数据表中加入 这两个条件 筛选数据,抽取数据更新完毕后更新 edp_etl_record 即可 初次更新 需要初始化 edp_etl_record表 里面 data_range_fm、data_range_to 字段为 需要抽取数据表中的 min(唯一自动或时间戳),此时表示同步全量,执行完毕后第二次开始同步增量
【文件预览】:
HR_部门信息.ktr
初始化增量数据.SQL
采购订单-采购订单项目.ktr
增量记录表.SQL
采购订单-采购信息记录.ktr
主数据-物料工厂数据.ktr
采购订单-采购订单抬头.ktr
增量同步--公用部分.ktr