Sqoop2搭建及使用

时间：2022-09-05 11:23:18

1. 下载并安装配置Sqoop

【需要的环境：Hadoop，Java】

首先  Hadoop版本2.7.2

20161013

找了篇Sqoop的文章就开撸  结果发现什么1.3，1.9，又有什么Sqoop1，Sqoop2.乱了。

先是使用的1.3，两个多小时，各种失败。发现还有一个与hadoop的版本兼容问题。

下午立即开始使用官网的Sqoop2，发现只有1.99.7，先用吧

虽然好了一点，但还是各种问题，一天过去了。。

注意： sqoop1的1.4.x及以下版本是与hadoop-2.6.x以下兼容，sqoop2是与hadoop-2.6.0+兼容，千万不能弄错！

还有，下载的这个压缩包里面都有一个doc文件夹，里面放着文档，因为版本较多且兼容问题严重，所以一定要参照这个文档安装和配置！

20161014

昨天捣鼓了一天，先是Sqoop1.3，然后用1.99.7.结果各种问题；

今天早上又去官网游荡了一下，发现这个1.99.7还不是正式发行版，不能放到生产环境的，真够郁闷，没办法，打算尝试一下1.99.6吧。

然而 官网已经把1.99.6的安装包去掉了，只能去网上找了一份。试了一下  顺畅了许多。

具体安装配置过程：(sqoop的shell命令是在$SQOOP_HOME/bin目录下)

  1. 下载解压
  2. 配置~/.bashrc，然后执行 source ~/.bashrc 使变更即刻生效 
    export PATH=.......:$SQOOP_HOME/bin:$PATH  #将红字部分插入原来的$PATH前面即可
    
export SQOOP_HOME=/home/hadoop/sqoop       #Sqoop根目录
    
export CATALINE_BASE=$SQOOP_HOME/server
    
export LOGDIR=$SQOOP_HOME/logs             #log目录　　
  3. 配置sqoop server
    1. $SQOOP_HOME/server/conf/catalina.properties文件，修改common.loader属性，引用$HADOOP_HOME/share/hadoop/* 和 */lib 
      common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/common/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/yarn/*.jar,/home/hadoop/hadoop-2.7.2/share/hadoop/yarn/lib/*.jar
    2. $SQOOP_HOME/server/conf/sqoop.properties 
      org.apache.sqoop.submission.engine.mapreduce.configuration.directory=$HADOOP_HOME/etc/hadoop  #红字部分要替换成具体的路径，切记！
  4. 修改hadoop配置文件core-site.xml 
    <property>
    
  <name>hadoop.proxyuser.$SERVER_USER.hosts</name>
    
  <value>*</value>
    
</property>
    
<property>
    
  <name>hadoop.proxyuser.$SERVER_USER.groups</name>
    
  <value>*</value>
    
</property>
  5. 验证sqoop2服务器的配置情况  
    sqoop2-tool verify  #如果提示successful 就可以进行下一步了，否则需要查看错误信息和日志文件

到这里 配置就完成了。

Sqoop1.996命令

参考：http://www.mamicode.com/info-detail-411853.html

Show

  • show server --[all,host,port,webapp] #展示服务端信息
  • show option --name verbose  #展示客户端配置
  • show version --[all,client,server,protocol]
  • show connector [--all]
  • show connection [--all,--xid 3]
  • show job [--all,--jid 3]
  • show link [--all, --lid3]

Update

  • update connection --xid 2
  • update job --jid 2
  • update link --lid 3

Delete

  • delete connection --xid 3
  • delete job --jid 1
  • delete link --lid 2

Clone

  • clone connection --xid 2
  • clone job --jid 2
  • clone link --lid 2

Submission

  • start job --jid 2 -s
  • stop job --jid 2
  • status job --jid 2

开始数据传输

开始之前需要准备几个jar包

①如果数据库是MSSQL的话，需要下载这个SqlServerJDBC驱动SQL Server JDBC Driver & Connector

解压后将lib里面的jar文件拷贝到sqoop安装目录的server/lib下面

②mysql的话，需要下载mysql-connector-java

  1. 启动  Sqoop2包含了server和client，所以需要先启动server
  2. sqoop2.sh server start　  #服务关闭：sqoop2-server stop　
  3. 以交互模式打开client  
    sqoop2-shell
  4. 配置客户端使用指定的Sqoop server 
    set server --host your.host.com --port 12000 --webapp sqoop   #红字部分替换成自己的Sqoop服务器 一般用localhost即可　　

创建数据库link

JDBC Driver Class: com.microsoft.sqlserver.jdbc.SQLServerDriver  #驱动名称

JDBC Connection String: jdbc:sqlserver://192.168.1.212:1433;DatabaseName=Test   #格式与mysql略有出入,并且这是MSSQL2005以上的格式，2000的话 还有些区别

Username: sa

Password: *************

JDBC Connection Properties:

There are currently 1 values in the map:

protocol = tcp

entry#

创建hdfs link与mysql的方式一致

创建job与mysql仅仅有一点区别

就是Schema name: dbName.dbo  比mysql多了红字部分

Sqoop + MySql + Hadoop(HBase)

创建数据库link

Using Connector generic-jdbc-connector with id 4

  Link configuration

    JDBC Driver Class: com.mysql.jdbc.Driver

    JDBC Connection String: jdbc:mysql://192.168.1.333:3306/someDB

    Username: root

    Password: 123

    JDBC Connection Properties:

      protocol = tcp

创建hdfs link

Using Connector hdfs-connector with id 3

  Link configuration

    HDFS URI: hdfs://hdfs nameservice:port/  #使用hadoop配置文件 core-site.xml中fs.defaultFS的值即可

    Hadoop conf directory: /home/hadoop/hadoop/etc/hadoop  #hadoop配置文件的路径

创建Job

Job with id 1 and name mysql2hdfs (Enabled: true, Created by hadoop at 16-10-17 下午3:56, Updated by hadoop at 16-10-17 下午4:48)

  Throttling resources

    Extractors: 2

    Loaders: 2

From link: 1

  From database configuration

    Schema name: dbName

    Table name: targetTableName

    Table SQL statement:

    Table column names:

    Partition column name:

    Null value allowed for the partition column:

    Boundary query:

  Incremental read

    Check column:

    Last value:

To link: 2

  To HDFS configuration

    Override null value:

    Null value:

    Output format: TEXT_FILE

    Compression format: NONE

    Custom compression format:

    Output directory: hdfs:/mysqlData/sqoopTableName  #要在hdfs中存放的路径

    Append mode:

注意事项：

1.在执行job之前  最好执行命令

set option --name verbose --value true

这样如果执行出现问题，会把详细日志打印出来，一目了然。

2.一个job如果执行成功，在hdfs的指定目录下就会有生成的文件，如果想重新start一遍，需要把生成的文件删除才行

$HADOOP_HOME/bin/hadoop dfs -rm /mysqlData/sqoopTableName/*   #之前在job中设置的hdfs路径

查看生成的文件

$HADOOP_HOME/bin/hadoop dfs -cat /mysqlData/sqoopTableName/*

[hadoop@hadoop1 bin]$ ./hadoop dfs -cat /db_data/Cities/*

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

1,'青岛','0530'

2,'济南','0531'

[hadoop@hadoop1 bin]$

To HBase：Sqoop1与Sqoop2的支持程度

Sqoop1的部署及使用

Sqoop2在1.99.6开始通过KiteConnector的方式在一定程度上支持了HBase的读写 传送门。

相关文章