Sqoop --基础介绍与安装

时间:2024-03-23 16:43:15

1.sqoop是什么

sqoop是一个导入导出的工具,实现关系型数据库导入到hdfs中,同样的也可以导出。

 

2.sqoop官网(http://sqoop.apache.org/

sendOS6.8-->1.4.6 

sendOS7  -->1.4.7
 

3.sqoop的两个版本

Sqoop --基础介绍与安装

Sqoop --基础介绍与安装

最新的稳定版本是sqoop1:1.4.7)。Sqoop2的最新版本为1.99.7。请注意,1.99.7与1.4.7不兼容且功能不完整,因此不适用于生产部署。

 

4.sqoop原理:

将导入或导出的命令翻译成MapReduce程序来实现

翻译出的MapReduce对inputformat和outputformat 进行定制

 

5.安装:

下载sqoop包,解压

修改配置环境,mv sqoop-env-template.sh   sqoop-env.sh

加入导入导出的家目录

export HADOOP_COMMON_HOME= /路劲

export HADOOP_MAPRED_HOME= /路劲

export HIVE_HOME=/路劲

..........

拷贝jdbc的驱动到sqoop的lib下

              cp /路劲/mysql-connector-java-5.1.32.jar  $SQOOP_HOME/lib/

 

6.验证sqoop

bin/sqoop hellp

Sqoop --基础介绍与安装

正常状态,因为有一些目前用不到的依赖没配,后期需要再配,不影响使用

 

7.验证sqoop是否能成功连接数据库

 

bin/sqoop  list-databases \                          --启动命令    

--connect jdbc:mysql://node01:3306/userdb \

--username root \

--password 123456\

Sqoop --基础介绍与安装