CDH商业版本的搭建(hadoop+hive+sqoop)

时间:2023-02-06 22:11:47

一:准备工作

1.步骤

  1)hadoop

    -》下载解压
    -》修改配置文件
    -》hadoop-env
      JAVA_HOME
    -》core-site
      fs.defaultFS
      hadoop.tmp.dir
    -》hdfs-site
      dfs.replication
      permission
    -》mapred-site
      mapreduce.frame.work
      historyserver
    -》yarn-site
      mapreduce-》shuffle
      resourcemanager地址:0.0.0.0
      日志聚集
    -》yarn-env
      JAVA_HOME
    -》slaves
      datanode/nodemanager hostname
    -》格式化
      bin/hdfs namenode -formatf
    -》启动

  2)hive
    -》下载解压
    -》创建数据仓库
      /user/hive/warehouse
    -》修改配置
    -》hive-env
      HADOOP_HOME
      HIVE_CONF_DIR
    -》log4j
      -》日志目录
    -》hive-site
      -》连接mysql
        -》数据库地址
        -》连接驱动
        -》用户名
        -》密码
      -》显示当前数据库
      -》显示表头
    -》把mysql连接驱动放入lib
    -》启动

  3)sqoop

    -》解压

    -》修改*env.sh

    -》加载驱动

    -》驱动

二:安装Hadoop

1.新建目录cdh-5.3.6,并修改权限

  CDH商业版本的搭建(hadoop+hive+sqoop)

2.解压

  CDH商业版本的搭建(hadoop+hive+sqoop)

3.修改/etc/profile

  CDH商业版本的搭建(hadoop+hive+sqoop)

4.配置*env.sh中的JAVA_HOME

5.配置core-site.xml环境

  CDH商业版本的搭建(hadoop+hive+sqoop)

6.配置hdfs-site.xml环境

  CDH商业版本的搭建(hadoop+hive+sqoop)

7.配置mapred-site.xml

  CDH商业版本的搭建(hadoop+hive+sqoop)

8.配置slaves

  CDH商业版本的搭建(hadoop+hive+sqoop)

9.配置yarn-site.xml

  CDH商业版本的搭建(hadoop+hive+sqoop)

10.格式化

  CDH商业版本的搭建(hadoop+hive+sqoop)

11.启动

  CDH商业版本的搭建(hadoop+hive+sqoop)

三:hive

1.解压

  CDH商业版本的搭建(hadoop+hive+sqoop)

2.在HDFS上创建数据仓库并修改权限

  在hadoop主目录下创建并修改权限。

  CDH商业版本的搭建(hadoop+hive+sqoop)

3.启用一些配置

  CDH商业版本的搭建(hadoop+hive+sqoop)

4.配置env.sh

  CDH商业版本的搭建(hadoop+hive+sqoop)

5.log4j的配置

  CDH商业版本的搭建(hadoop+hive+sqoop)

6.hive-site.xml的配置

  CDH商业版本的搭建(hadoop+hive+sqoop)

7.加载驱动

  CDH商业版本的搭建(hadoop+hive+sqoop)

8.启动hive之前mysql的内容

  CDH商业版本的搭建(hadoop+hive+sqoop)

9.启动

  CDH商业版本的搭建(hadoop+hive+sqoop)

10.出现新的数据库

  CDH商业版本的搭建(hadoop+hive+sqoop)

四:sqoop

1.概述

  用于关系型数据库与hadoop之间的数据转换。

  底层是mapreduce模板,通过不同的参数,封装打包成jar,提交给yarn。

  导入与导出是基于hdfs而言。

2.解压到cdh-5.3.6

3.拷贝相关的配置文件

  CDH商业版本的搭建(hadoop+hive+sqoop)

4.配置sqoop.env.sh

  CDH商业版本的搭建(hadoop+hive+sqoop)

5.加载驱动

  CDH商业版本的搭建(hadoop+hive+sqoop)

6.简单使用

  CDH商业版本的搭建(hadoop+hive+sqoop)