ODI利用goldengate实现增量数据捕获

时间:2024-01-20 14:14:21

ODI利用goldengate实现增量数据捕获

上个月,Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块,这样当系统需要实时数据仓库时,我们从源数据库抽取增量数据,就完全可以利用goldengate从数据库的日志中抽取,避免了对源数据库系统的影响,以前采用streams或者logminer抽取增量时,需要在源数据库部署stream,需要DBA权限,很多管理员都有抵触情绪,怕影响生产系统,goldengate在源数据库中抽取增量时,在源数据库系统上不需要部署任何东西,它只需要一个普通用户从数据库获取元数据,该用户至少有connect,resource,select  any table,select any dictionary权限。具体的配置请参见下图:

  1. 1.      我们在源系统上安装好goldengate,具体安装步骤请参考以前的blog。
  2. 2.      在ODI所在的机器上导入相应的知识模块,请到oracle support网站下载相关软件和文档。
  3. 3.      象操作其它ODI中的CDC一样,添加日志表,配置知识模块的相关参数,ODI会自动生成相关goldengate的配置文件。
  4. 4.      Goldengate在源端抽取时,在ODI的临时存储区(staging area)会存有两份数据,一份是和源一模一样的一份数据,另一份是原来在源数据库上部署的临时表和视图),goldenate会将增量数据从源端日志抽取出来,同时更新临时区的两套表,至此,增量数据的抽取完成。

5.      ODI利用和其它抽取方式一致的机制对增量数据进行转化,加载。