1.sqoop是什么
sqoop是一个导入导出的工具,实现关系型数据库导入到hdfs中,同样的也可以导出。
2.sqoop官网(http://sqoop.apache.org/)
sendOS6.8-->1.4.6
sendOS7 -->1.4.7
3.sqoop的两个版本
最新的稳定版本是sqoop1:1.4.7)。Sqoop2的最新版本为1.99.7。请注意,1.99.7与1.4.7不兼容且功能不完整,因此不适用于生产部署。
4.sqoop原理:
将导入或导出的命令翻译成MapReduce程序来实现
翻译出的MapReduce对inputformat和outputformat 进行定制
5.安装:
下载sqoop包,解压
修改配置环境,mv sqoop-env-template.sh sqoop-env.sh
加入导入导出的家目录
export HADOOP_COMMON_HOME= /路劲
export HADOOP_MAPRED_HOME= /路劲
export HIVE_HOME=/路劲
..........
拷贝jdbc的驱动到sqoop的lib下
cp /路劲/mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/
6.验证sqoop
bin/sqoop hellp
正常状态,因为有一些目前用不到的依赖没配,后期需要再配,不影响使用
7.验证sqoop是否能成功连接数据库
bin/sqoop list-databases \ --启动命令
--connect jdbc:mysql://node01:3306/userdb \
--username root \
--password 123456\