Oracle GoldenGate 12c中的协同交付(Coordinated Delivery)

时间:2022-01-18 04:06:22

OGG 12c中,并行交付有2种模式:集成交付、协同交付。不过集成交付只能针对目标端是oracle数据库(有版本要求)使用,而协同交付则可以在非oracle数据库上使用。

先来看2个问题,

l 为什么需要协同交付?

l 什么是协同交付?

为什么需要协同交付?

在OGG12.1.2之前,如果在目标端碰上性能问题,延迟厉害 ,一般的做法是将交付进程拆分为几个。拆分的方式有2种,一是将一个复制进程中的多张表拆分出来,形成多个复制进程;另一种是将一张大表,按某个字段(一般是主键字段)的值进行拆分,形成多个投递进程。下面是针对同一个复制进程REP1中,多张表的拆分示例:

REP1.PRM

MAP sales.acct1, TARGET sales.acct1;

REP2.PRM

MAP sales.acct2, TARGET sales.acct2;

REP3.PRM

MAP sales.acct3, TARGET sales.acct3;

在这种拆分中,要注意有主外键约束的表应该在同一个进程中。

下面是使用RANGE参数针对一张大表进行拆分的示例:

REP1.PRM

MAP sales.acct, TARGET sales.acct,

FILTER (@RANGE (1, 3, ID));

REP2.PRM

MAP sales.acct, TARGET sales.acct,

FILTER (@RANGE (2, 3, ID));

REP3.PRM

MAP sales.acct, TARGET sales.acct,

FILTER (@RANGE (3, 3, ID));

由于在多个投递进程之间没有协同,当投递数据中包含有DDL、SQL exec的时候,可能会产生问题,如下示例:

Oracle GoldenGate 12c中的协同交付(Coordinated Delivery)

假如replicat 1投递记录1,3,replicat2投递记录2,4;如果有一个DDL操作,如下:

Oracle GoldenGate 12c中的协同交付(Coordinated Delivery)

如果缺乏正确的协调机制,假如DDL操作在记录4插入之前执行,则记录4的插入就会报错。在协同投递中,下面这些操作都叫堡垒操作(barrier operations):

l DDL

l 使用range参数拆分时进行PK更新;

l 事件操作(Event Actions)

l SQLExec

什么是协同交付?

协同交付是OGG 12c中提供的新功能,支持所有数据库,如 MySQL, SQL Server, Sybase等。

Oracle GoldenGate 12c中的协同交付(Coordinated Delivery)

使用协同交付,仍然需要在复制参数指定如何拆分,但是方式比以前更为简单。针对多张表的拆分示例如下:

REP.PRM

MAP sales.acct1, TARGET sales.acct1, THREAD(1);

MAP sales.acct2, TARGET sales.acct2, THREAD(2);

MAP sales.acct,3 TARGET sales.acct3, THREAD(3);

针对大表的拆分示例如下:

REP.PRM

MAP sales.acct, TARGET sales.acct, THREADRANGE(1-3, ID));

可以看到,协同交付的参数比以前的要简单明了,更容易维护。使用协同投递的好处:

l 单一的参数文件;

l 自动控制复制投递的顺序,确保各拆分进程之间交易的完整性;

l 增强错误恢复的能力;

协同交付的一个关键概念就是统一的barrier协同及同步,统一的barrier协同意味着所有需要按顺序执行的操作都是barrier操作,即barrier操作必须等待前序的操作执行完成之后才能执行,所有线程必须要等待barrier线程结束后才能继续。使用协同交付,交付进程当掉之后,各线程之间的投递进度不会差异太大,要解决abended时发生的问题和继续同步也比较容易。