hadoop2.x整合手册【2】---sqoop1.9.x安装与部署

时间:2022-09-19 09:15:59

sqoop1.9简介

此版本的sqoop分为服务器和客户端两个部分,服务端可以独立安装hadoop集群的任意一台节点,甚至此节点的hadoop服务可以不处于运行状态。在启动服务端后任意安装客户端即可。在新的架构下,各种命令的执行全部放在了客户端。类似redis的客户端使用方式。

安装步骤

1.修改server/conf下的sqoop.properties中的hadoop的配置项路径,以及logging.properties日志以及错误日志存放路径,auditlogger相关配置项需要设定。

2.修改server/conf下.catalina.properties中和hadoop相关的项目配置 属性加入hadoop2的lib
因为hadoop_home 下的lib是空的 所以指向 
$hadoop_home/hadoop-2.x/share/hadoop/common/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/common/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/yarn/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/yarn/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/hdfs/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/hdfs/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/mapreduce/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/mapreduce/lib/*.jar

3.因为许可的问题,还需要向sqoop根目录/lib目录下手动添加相应数据库jdbc的jar包,如果这个目录不存在则需要手动创建。必须加上mysql的连接器

4.启动服务端服务

sqoop根目录/bin/sqoop.sh server start
停止服务端服务

sqoop根目录/bin/sqoop.sh server stop
5.进入客户端

sqoop根目录/bin/sqoop.sh client

应用示例

1.创建连接:create connection --cid 1  

下面逐步输入信息:

name:任意起

jdbc driver class:com.microsoft.sqlserver.jdbc.SQLServerDriver   sqlserver的连接

JDBC Connection String:数据库的连接字符串

不缺少文件和配置就能建立一个连接

2.展示已有连接:show connection

详细操作见Sqoop 5 Minutes Demo说明文档