13_sqoop数据迁移概述

时间:2023-03-09 17:21:34
13_sqoop数据迁移概述

3. sqoop数据迁移

3.1 概述

  sqoop是apache旗下一款“Hadoop体系和关系数据库服务器之间传送数据”的工具。

  导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;

  导出数据:从Hadoop的文件系统中导出数据到关系数据库;

  13_sqoop数据迁移概述

3.2 工作机制

  将导入或导出命令翻译成mapreduce程序来实现,在翻译出的mapreduce中主要是对inputformat和

outputformat进行定制

   Sqoop的原理其实就是将导入导出命令转化为mapreduce程序来执行,sqoop在接收到命令后,都要

生成mapreduce程序

3.3 sqoop安装

  1.安装sqoop的前提是已经具备java和hadoop的环境

  2.下载并解压:最新版下载地址:https://pan.baidu.com/s/1Gerp-3va3aFtTFej96v4hw

  3.修改配置文件: 

$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
打开sqoop-env.sh并编辑下面几行:
export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.6.4/
export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.6.4/
export HIVE_HOME=/usr/local/src/hive-1.2.1/

  4.加入mysql的jdbc驱动包

   cp /usr/local/src/hive-1.2.1/lib/mysql-connector-java-5.1.28.jar /usr/local/src/sqoop/lib/

  5.验证启动:cd $SQOOP_HOME/bin