sqoop1.4.6安装

时间:2024-03-23 16:42:52

前言:众所周知,sqoop2和sqoop1差别还是很大的,个人建议使用sqoop1。

安装前提条件:

1、jdk已经安装完成;

2、hadoop集群可以正常启动;

3、安装机器和数据库所在机器IP地址互通,且数据库端口没有被禁用。

一、下载sqoop安装包

http://archive.apache.org/dist/sqoop/1.4.6/

1、下载完成后,得到 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2、解压  tar -xvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

3、ln -sf sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop (增加软连接,非必要)

二、安装sqoop

1、cd到 sqoop下的conf 目录

2、cp sqoop-env-template.sh sqoop-env.sh (将模板文件修改为正式文件)

3、vi sqoop-env.sh  设置一下必要的环境变量

export HADOOP_COMMON_HOME=${HADOOP_HOME}  (必要,hadoop安装目录)
export HADOOP_MAPRED_HOME=${HADOOP_HOME}   (必要,hadoop安装目录)

export HIVE_HOME=${HIVE_HOME}   (非必要,HIVE安装目录,如果不直接使用hive表的导入导出,可以不配置)

export HBASE_HOME=${HBASE_HOME}    (非必要,HBASE安装目录,如果不直接使用hbase表的导入导出,可以不配置)

sqoop1.4.6安装

4、修改系统环境变量,便于直接使用sqoop命令

    sudo vi /etc/profile (如果没有sudo权限,可以配置到用户的环境变量里面(自行百度),实在不会,也可以不配置,使用sqoop命令的时候,直接使用绝对路径即可)

sqoop1.4.6安装

然后使用 source /etc/profile 使得环境变量生效

5、验证是否可用 

使用  sqoop help  (如果前面没有配置环境变量,此处需要使用绝对路径)

sqoop1.4.6安装

出现上面的内容,说明我们已经配置成功了,但是还是有几个Warning,是因为我们有几个变量没有设置,其实是不影响使用的,但是有些小伙伴比较在意,那我们就把他去掉

把sqoop/bin/configure-sqoop里面的两段内容注释掉就可以了。根据fail搜索

sqoop1.4.6安装

再次测试  sqoop help

sqoop1.4.6安装

发现Warning已经消失。

至此,sqoop 1.4.6已经安装完成。

注意:使用之前,请把相应数据库的JDBC jar包拷贝到sqoop安装目录下的lib目录,否则会提示找不到驱动类。

sqoop1.4.6安装