Talend快速开发(一)

时间:2024-06-01 10:29:15

关于Talend的背景介绍这里就不说明了,详细资料可以查看官网https://www.talend.com/

以下主要说明如何快速使用Talend完成数据的抽取、转换、加载工作

1、创建JOB

(1)右击 Job Designs

Talend快速开发(一)

(2)点击创建作业

Talend快速开发(一)

 

 

2、设计JOB

(1)查找 tDBConnection 组件

Talend快速开发(一)


(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)

Talend快速开发(一)

(3)设置数据库连接类型

Talend快速开发(一)

(4)2个数据库连通

Talend快速开发(一)

(5)设计数据库输入、输出组件

Talend快速开发(一)
 

(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)

Talend快速开发(一)

(7)连接剩余线

Talend快速开发(一)


Talend快速开发(一)

(8)设置tMap组件

Talend快速开发(一)


Talend快速开发(一)

 

3、配置上下文(数据库连接信息)

(1)创建上下文

Talend快速开发(一)

Talend快速开发(一)

(2)填写数据库相关信息

Talend快速开发(一)

添加完成之后如下:

Talend快速开发(一)

 

4、完善JOB

(1)tDBConnection组件应用上下文

Talend快速开发(一)


Talend快速开发(一)

(2)tDBInput组件应用上下文

第5步验证一下是否可以连通,如果可以获取到表结构,则说明连接成功

Talend快速开发(一)


导出源表的表结构到本地

Talend快速开发(一)

(3)tDBOutput组件应用上下文

Talend快速开发(一)


  • 获取目标表的表结构(方法:临时新建一个tDBIput组件,如下图,获取完表结构后删除掉该组件)

Talend快速开发(一)


  • 导出目标表表结构到本地

Talend快速开发(一)


  • 删掉该临时组件

(4)配置tMap组件

Talend快速开发(一)


  • 自动映射俩张表的字段(通常源表与目标表字段名都是完全匹配一致的,这里自动映射很方便,如果不匹配,就需要人为一条一条匹配源表与目标表的字段)

提示:人为匹配方法:点击左边源表字段,拖住到右侧字段列表中与之匹配的字段即可

Talend快速开发(一)

 

4、开始本地运行测试

Talend快速开发(一)

5、如果本地测试成功,即可打包到服务器执行

(1)打包

Talend快速开发(一)

(2)windows执行方法

  • 解压缩打包文件,然后找到bat文件执行

Talend快速开发(一)

(3)linux后台永久执行方法

  • 将压缩包上传到linux服务器,然后解压
  • 同(2)一样,找到2级目录下的sh文件
  • 命令行启动   nohup sh InfiniteLoop_ngdp_data_run.sh &     

(nohup详细解释可以度娘了解,结合&符号主要是为了满足后台永久挂载不掉线,但是需要注意,退出的时候必须用exit命令,不能直接关闭linux窗口)

  • 命令行退出linux系统  exit
  • 再次登录linux服务器,查看是否后台启动服务: ps -ef | grep java

 


本次更新就到这里了,如果在参考过程中有疑惑的地方欢迎指出,我会尽快检查并完善博文,感谢大家的支持。