sqoop1.9简介
此版本的sqoop分为服务器和客户端两个部分,服务端可以独立安装hadoop集群的任意一台节点,甚至此节点的hadoop服务可以不处于运行状态。在启动服务端后任意安装客户端即可。在新的架构下,各种命令的执行全部放在了客户端。类似redis的客户端使用方式。
安装步骤
1.修改server/conf下的sqoop.properties中的hadoop的配置项路径,以及logging.properties日志以及错误日志存放路径,auditlogger相关配置项需要设定。
2.修改server/conf下.catalina.properties中和hadoop相关的项目配置 属性加入hadoop2的lib
因为hadoop_home 下的lib是空的 所以指向
$hadoop_home/hadoop-2.x/share/hadoop/common/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/common/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/yarn/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/yarn/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/hdfs/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/hdfs/lib/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/mapreduce/*.jar
$hadoop_home/hadoop-2.x/share/hadoop/mapreduce/lib/*.jar
3.因为许可的问题,还需要向sqoop根目录/lib目录下手动添加相应数据库jdbc的jar包,如果这个目录不存在则需要手动创建。必须加上mysql的连接器
4.启动服务端服务
sqoop根目录/bin/sqoop.sh server start停止服务端服务
sqoop根目录/bin/sqoop.sh server stop5.进入客户端
sqoop根目录/bin/sqoop.sh client
应用示例
1.创建连接:create connection --cid 1
下面逐步输入信息:
name:任意起
jdbc driver class:com.microsoft.sqlserver.jdbc.SQLServerDriver sqlserver的连接
JDBC Connection String:数据库的连接字符串
不缺少文件和配置就能建立一个连接
2.展示已有连接:show connection
详细操作见Sqoop 5 Minutes Demo说明文档