ETL工具Datax、sqoop、kettle 的区别

时间:2022-10-06 19:08:41

一、Sqoop主要特点:

1.可以将关系型数据库中的数据导入到hdfs,hive,hbase等hadoop组件中,也可以将hadoop组件中的数据导入到关系型数据库中;

2.sqoop在导入导出数据时,充分采用了map-reduce计算框架(默认map数为4),根据输入条件生成一个map-reduce作业(只有map,没有reduce),在hadoop集群中运行。采用map-reduce框架同时在多个节点进行import或者export操作,熟读比单节点运行多个并行效率高,同时提供了良好的并发性和容错性;

3.支持insert,update模式,可以选择参数,若内容存在就更新,若不存在就插入;

4.对国外主流关系型数据库支持性更好。

 

二、Datax 主要特点:
1、异构数据库和文件系统之间的数据交换;
2、采用 Framework + plugin 架构构建,Framework 处理了缓冲,流控,并发,上下文加载等高速数据交换的大部分技术问题,提供了简单的接口与插件交互,插件仅需实现对数据处理系统的访问;
3、数据传输过程在单进程(单进程多线程)内完成,全内存操作,不读写磁盘,也没有 IPC(进程之间的通信);
4、开放式的框架,开发者可以在极短的时间开发一个新插件以快速支持新的数据库/文件系统。
 
三、Kettle 主要特点:
1、kettle (数据抽取、清洗、转换、装载)是由 java 编写,可以在 Window、Linux、Unix 上运行。支持多数据源, 多种中间件的专业 ETL 工具。
2、支持图形化 GUI 设计界面,组件多样性,支持 http 请求,上手简单支持拖拽,支持 sql , 可以编写js ,可以编写一些 java 代码,然后以工作流的形式流转。如果没有冲突可以并行执行,并行开发。在工具内可以查看 读 写 修改 输出 更新 拒绝 错误 等 一些参数,快速定位和纠错。
 
四、Sqoop 和 Datax 的区别:
1、sqoop 采用 map-reduce 计算框架进行导入导出,而 datax 仅仅在运行 datax 的单台机器上进行数据的
抽取和加载,速度比 sqoop 慢了许多;
2、sqoop 只可以在关系型数据库和 hadoop 组件之间进行数据迁移,而在 hadoop 相关组件之间,比如
hive 和 hbase 之间就无法使用 sqoop 互相导入导出数据,同时在关系型数据库之间,比如 mysql 和
oracle 之间也无法通过 sqoop 导入导出数据。与之相反,datax 能够分别实现关系型数据库 hadoop 组件
之间、关系型数据库之间、hadoop 组件之间的数据迁移;
3、sqoop 是专门为 hadoop 而生,对 hadoop 支持度好,而 datax 可能会出现不支持高版本 hadoop 的现象;
4、sqoop 只支持官方提供的指定几种关系型数据库和 hadoop 组件之间的数据交换,而在 datax 中,用户
只需根据自身需求修改文件,生成相应 rpm 包,自行安装之后就可以使用自己定制的插件;
 
五、Kettle 与 DataX 的区别:
1、Kettle 拥有自己的管理控制台,可以直接在客户端进行 etl 任务制定,不过是 CS 架构(服务器-客户机),而不支持 BS(浏览器-服务器)架构。DataX 并没有界面,界面完全需要自己开发,增加了很大工作量。
2、Kettle 可以与我们自己的工程进行集成,通过 JAVA 代码集成即可,可以在 java 中调用 kettle 的转换、执行、结束等动作,这个还是有意义的,而 DataX 是不支持的,DataX 是以执行脚本的方式运行任务的,当然完全吃透源码的情况下,应该也是可以调用的。
3、支持的数据库,都支持的比较齐全,kettle 支持的应该更多,DataX 是阿里开发,可以更好地支持阿里自身的数据库系列,如 ODPS、ADS 等
4、Kettle 已经加入 BI 组织 Pentaho,加入后 kettle 的开发粒度和被关注度更进一步提升
5、DataX 开源的支持粒度不高,关注度远没有 kettle 高,代码提交次数更是少的很。
 
六、Kettle 与 Sqoop 的区别
1、Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job则完成整个工作流的控制;Sqoop 主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递
2、kettle 有图形化的操作界面,只需要描述你想做什么,而不是你想怎么做;sqoop 没有图形化界面,具体的数据流向需要手工配置。
3、kettle 底层使用多线程以提高效率;Sqoop 专为大数据批量传输设计,能够分割数据集并创建 Hadoop任务来处理每个区块。
4、kettle 可以利用 transformation 在数据传输过程中对数据的一些转换处理;Sqoop 只是一个用来将Hadoop 和关系型数据库中的数据相互转移的工具
5、kettle 数据的具体流向可以指定,可以是各种数据的存储工具;sqoop 只是完成 hdfs 到关系型数据库或者 关系型数据库到 hdfs 的数据传输,在传输的过程中保证传输数据的类型