关于Talend的背景介绍这里就不说明了,详细资料可以查看官网https://www.talend.com/
以下主要说明如何快速使用Talend完成数据的抽取、转换、加载工作
1、创建JOB
(1)右击 Job Designs
(2)点击创建作业
2、设计JOB
(1)查找 tDBConnection 组件
(2)创建2个tDBConnection组件(点击第一步找到的组件,然后在作业的空白处左击即可)
(3)设置数据库连接类型
(4)2个数据库连通
(5)设计数据库输入、输出组件
(6)同第3步,设置俩个组件的数据库连接类型(设置完成后如下图:)
(7)连接剩余线
(8)设置tMap组件
3、配置上下文(数据库连接信息)
(1)创建上下文
(2)填写数据库相关信息
添加完成之后如下:
4、完善JOB
(1)tDBConnection组件应用上下文
(2)tDBInput组件应用上下文
第5步验证一下是否可以连通,如果可以获取到表结构,则说明连接成功
导出源表的表结构到本地
(3)tDBOutput组件应用上下文
- 获取目标表的表结构(方法:临时新建一个tDBIput组件,如下图,获取完表结构后删除掉该组件)
- 导出目标表表结构到本地
- 删掉该临时组件
(4)配置tMap组件
- 自动映射俩张表的字段(通常源表与目标表字段名都是完全匹配一致的,这里自动映射很方便,如果不匹配,就需要人为一条一条匹配源表与目标表的字段)
提示:人为匹配方法:点击左边源表字段,拖住到右侧字段列表中与之匹配的字段即可
4、开始本地运行测试
5、如果本地测试成功,即可打包到服务器执行
(1)打包
(2)windows执行方法
- 解压缩打包文件,然后找到bat文件执行
(3)linux后台永久执行方法
- 将压缩包上传到linux服务器,然后解压
- 同(2)一样,找到2级目录下的sh文件
- 命令行启动 nohup sh InfiniteLoop_ngdp_data_run.sh &
(nohup详细解释可以度娘了解,结合&符号主要是为了满足后台永久挂载不掉线,但是需要注意,退出的时候必须用exit命令,不能直接关闭linux窗口)
- 命令行退出linux系统 exit
- 再次登录linux服务器,查看是否后台启动服务: ps -ef | grep java
本次更新就到这里了,如果在参考过程中有疑惑的地方欢迎指出,我会尽快检查并完善博文,感谢大家的支持。