Hadoop伪分布安装详解(四)

时间：2024-06-10 20:34:02

目录：

1.修改主机名和用户名

2.配置静态IP地址

3.配置SSH无密码连接

4.安装JDK1.7

5.配置Hadoop

6.安装Mysql

7.安装Hive

8.安装Hbase

9.安装Sqoop

********************

为什么要安装Mysql？  因为Hive的元数据和数据是分开存放的，数据存放在HDFS中，元数据默认存储在Derby数据库中。

但是由于Derby数据库只支持同时一个用户访问Hive，因此将数据库的配置更改为Mysql。

6.安装Mysql

　（1）安装Mysql客户端： 

 yum install mysql

　（2）安装Mysql服务器端： 

yum install mysql-server 　　

yum install mysql-devel

（3）查看Mysql的状态　

service mysqld status

Hadoop伪分布安装详解(四)

# Mysql启动 　　service mysqld start

# Mysql停止 　　service mysqld stop

（4）启动Mysql后，以root用户登录Mysql： 

   mysql -u root

   mysql> set PASSWORD  FOR 'root'@'localhost'=PASSWORD('root')  #设置密码root

   mysql -u root  -p

Hadoop伪分布安装详解(四)

（5）创建数据库Hive，用来保存Hive元数据 

create  database   hive

使用root用户操作hive中所有的表格

     GRANT  all  ON  hive.*  TO  root@'neusoft-master'    IDENTIFIED  BY  'hivepwd'

     flush  privileges;

     select   user,host from mysql.user

如下显示：

    Hadoop伪分布安装详解(四)

 7.安装Hive

    （1） 下载hive的安装包，并传到centos系统中，在对应目录解压即可

 tar  -zxvf  /opt/hive-1.1.-cdh5.6.0.tar.gz

    （2）修改hive的配置文件/opt/hive-1.1.0-cdh5.6.0/conf，在conf目录下创建hive-site.xml   

[root@neusoft-master conf]# cd /opt/hive-1.1.0-cdh5.6.0/conf/

[root@neusoft-master conf]# ll

total 20

-rw-r--r-- 1 1106  592 1139 Jan 29  2016 beeline-log4j.properties.template

-rw-r--r-- 1 1106  592 2459 Jan  6 21:09 hive-env.sh

-rw-r--r-- 1 1106  592 2662 Jan 29  2016 hive-exec-log4j.properties.template

-rw-r--r-- 1 1106  592 3505 Jan 29  2016 hive-log4j.properties.template

-rw-r--r-- 1 root root  740 Jan  6 21:36 hive-site.xml

[root@neusoft-master conf]# cat hive-site.xml

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

      <name>hive.metastore.local</name>

      <value>true</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://neusoft-master:3306/hive?createDatabaseIfNotExist=true</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

    </property>

    <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>hivepwd</value>

    </property>

</configuration>

　　如图：

    Hadoop伪分布安装详解(四)

（3）配置hive-env.sh

     由于hive压缩包中只有hive-env.sh.template文件，因此需要复制一份文件并更改为hive-env.sh，如下命令：

cp hive-env.sh.template hive-env.sh

[root@neusoft-master conf]# vi  hive-env.sh

export JAVA_HOME=/usr/java/default

export HADOOP_HOME=/opt/hadoop-2.6.-cdh5.6.0

Hadoop伪分布安装详解(四)

（4）移动jar包到hive的lib目录下

    将Mysql的JDBC驱动jar包移动到hive-1.1.0-cdh5.6.0/lib下，否则hive不能成功连接mysql

JDBC的jar包应选择相应版本，如：mysql-connector-5.1.30.jar，这里不是下载mysql安装包，而是找到mysql启动包放进lib目录下。

　（5）环境变量配置

vi  /etc/profile   #更改如下
export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.0

export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

　　 Hadoop伪分布安装详解(四)

source  /etc/profile  #环境变量生效

（6）验证安装

首先启动Hadoop和Mysql，在执行Hive

执行创建表结构：create  table  test(id int);

执行含有mapreduce的查询

Hadoop伪分布安装详解(四)

补充：如果用户通过SecureCRT链接虚拟机，则会出现进入hive命令行后无法使用退格键的情况？

详细描述： 通过SecureCRT连接服务器，使用Hive时，不能用Backspace或delete时

            解决方案：在选项里面有个会话选项--终端---仿真选项里面终端选择linux即可。

 END~

   

相关文章