KETTLE实现循环批量多表抽取添加字段

场景：将kettle资源库抽取到另一个数据库中并输出抽取表单,(本文用的是MySQL).不废话直接发

方法一

1.总架构

新建作业

KETTLE实现循环批量多表抽取添加字段

2.获取表的数量

KETTLE实现循环批量多表抽取添加字段

这步用到表输入和复制记录到结果字符串组件,其他可以获取表的组件也可以*发挥

KETTLE实现循环批量多表抽取添加字段

3.执行表数量判断并设置变量,用到JavaScript组件

JAVA代码如下:

var prevRow=previous_result.getRows();
if (prevRow == null && (prevRow.size()=0))
{
false;
}
else
{
parent_job.setVariable("table_name", prevRow);//ArrayList存储表名变量
parent_job.setVariable("size", prevRow.size());//存储执行表的总数量
parent_job.setVariable("i", 0);//循环控制变量
parent_job.setVariable("TABLENAME", prevRow.get(0).getString("TABLE_NAME",""));
true;

}

4.设置变量

KETTLE实现循环批量多表抽取添加字段

这步是设置抽取时间戳的时间变量,本步放在全量抽取里面也可以每次循环都会调用会影响整体速度.

KETTLE实现循环批量多表抽取添加字段

5.循环控制

KETTLE实现循环批量多表抽取添加字段

这步在作业里用到检验字段的值、转换和JavaScript组件

KETTLE实现循环批量多表抽取添加字段

JavaScript组件,JAVA代码如下:

var list_Tables = parent_job.getVariable("table_name").replace("[","").replace(" ","").replace("]","").split(",");
var size = new Number(parent_job.getVariable("size"));
var i = new Number(parent_job.getVariable("i"))+1;
if(i < size)
{
parent_job.setVariable("TABLENAME", list_Tables[i]);
}
parent_job.setVariable("i",i);

true;

转换设置如下:

KETTLE实现循环批量多表抽取添加字段