安装sqoop

安装sqoop

1.默认已经安装好java+hadoop

2.下载对应hadoop版本的sqoop版本

3.解压安装包

    tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

4.配置环境变量(/etc/profile)

    #sqoop

    export SQOOP_HOME=/opt/sqoop

    export PATH=$PATH:$SQOOP_HOME/bin

    保存退出

    source /etc/profile

5.修改配置文件(sqoop-env.sh/sqoop-site.xml/sqoop)

    1.复制配置文件模板

        cd /opt/sqoop-1.4.6/conf

        cp sqoop-site-template.xml sqoop-site.xml

        cp sqoop-env-template.sh sqoop-env.sh

        ####sqoop-env.sh####

        export HADOOP_COMMON_HOME=/opt/hadoop-2.5.2

        ####sqoop-site.xml####

        无需配置 但须有此文件

        ####bin/sqoop####

        最后一行需要改成  注意sqoop-1.4.6.jar 为lib目录下的包

        exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6.jar org.apache.sqoop.Sqoop "$@"

6.添加jar包

    1.添加关系型数据库jdbc jar包 到 lib 目录下

        cp mysql-connector-java-5.1.21.jar /opt/sqoop-1.4.6/lib

7.验证

    sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //注意此时需保证mysql连接正常。不然报错  无报错显示出数据库则表示安装成功

8.常用命令

    1.显示

        sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //显示数据库

        sqoop list-tables --connect jdbc:mysql://192.168.22.1/test --username root --password root    //显示数据表

    2.hdfs导出到mysql

        sqoop export --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\t'

                     --export-dir /access/part-m-00000 //需保证导出表已创建并字段跟存储文件一致  注意字段分隔符

    3.mysql导入到hdfs

        sqoop import --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\001'

                     --lines-terminated-by '\n' --target-dir /access -m 1 //无主键时需加 -m 1 不然报错 /access在hdfs需不存在 注意字段分隔符
相关文章
