hive搭建方法

1、MySql安装

1）检查当前系统是否安装过Mysql

[soft863@hadoop102 ~]$ rpm -qa|grep mariadb

mariadb-libs-5.5.56-2.el7.x86_64 //如果存在通过如下命令卸载

[soft863 @hadoop102 ~]$ rpm -e --nodeps mariadb-libs //用此命令卸载mariadb

2）将MySQL安装包拷贝到/opt/software目录下

[soft863 @hadoop102 software]# ll

总用量 528384

-rw-r--r--. 1 root root 609556480 3月 21 15:41 mysql-5.7.28-1.el7.x86_64.

3）解压MySQL安装包

[soft863 @hadoop102 software]# tar -xf mysql-5.7.28-1.el7.x86_64.

4 . 在安装目录下执行rpm安装

[soft863 @hadoop102 software]$ rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm

[soft863 @hadoop102 software]$ rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm

[soft863 @hadoop102 software]$ rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm

[soft863 @hadoop102 software]$ rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm

[soft863 @hadoop102 software]$ rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

注意:按照顺序依次执行

如果Linux是最小化安装下错误

[soft863@hadoop102 software]$ sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

警告：mysql-community-server-5.7.28-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

错误：依赖检测失败：

.1()(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要

.1(LIBAIO_0.1)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要

.1(LIBAIO_0.4)(64bit) 被 mysql-community-server-5.7.28-1.el7.x86_64 需要

通过yum安装缺少的依赖,然后重新安装my的，在安装mysql-community-server-5.7.28-1.el7.x86_64.rpm时可能会出现如sql-community-server-5.7.28-1.el7.x86_64 即可

[soft863@hadoop102 software] yum install -y libaio

5）删除/etc/文件中datadir指向的目录下的所有内容,如果有内容的情况下:

查看datadir的值：

[mysqld]

datadir=/var/lib/mysql

删除/var/lib/mysql目录下的所有内容:

cd /var/lib/mysql

[soft863 @hadoop102 mysql]# rm -rf * //注意执行命令的位置

6）初始化数据库

[soft863 @hadoop102 opt]$ mysqld --initialize --user=mysql

7）查看临时生成的root用户的密码

[soft863 @hadoop102 opt]$ cat /var/log/

8）启动MySQL服务

[soft863 @hadoop102 opt]$ systemctl start mysqld

9）登录MySQL数据库

[soft863 @hadoop102 opt]$ mysql -uroot -p

Enter password: 输入临时生成的密码

登录成功.

10）必须先修改root用户的密码,否则执行其他的操作会报错

mysql> set password = password("新密码");

11）修改mysql库下的user表中的root用户允许任意ip连接

mysql> update set host='%' where user='root';

mysql> flush privileges;

2、Hive安装部署

1）把apache-hive-3.1.上传到linux的/opt/software目录下

2）解压apache-hive-3.1.到/opt/module/目录下面

[soft863@hadoop102 software]$ tar -zxvf /opt/software/apache-hive-3.1. -C /opt/module/

3）修改apache-hive-3.1.的名称为hive

[soft863@hadoop102 software]$ mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

4）修改/etc/profile，添加环境变量

[soft863@hadoop102 software]$ vim /etc/profile

5）添加内容，添加完后别忘记执行 source /etc/profile

#HIVE_HOME

export HIVE_HOME=/opt/module/hive

export PATH=$PATH:$HIVE_HOME/bin

6）解决日志Jar包冲突

[soft863@hadoop102 software]$ mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10. $HIVE_HOME/lib/log4j-slf4j-impl-2.10.

3、Hive元数据配置到MySql

3.1、修改

修改hadoop 配置文件 etc/hadoop/,加入如下配置项:

为了防止root在hive中操作的权限问题；

<name>hadoop.</name>

</property>

</property>

保存退出，并重启hdfs服务

3.2、拷贝驱动

将MySQL的JDBC驱动拷贝到Hive的lib目录下

先把jar包放到 /opt/software下，然后再执行下面命令。

[soft863@hadoop102 software]$ cp /opt/software/mysql-connector-java-5.1. $HIVE_HOME/lib

3.3、配置Metastore到MySql

在$HIVE_HOME/conf目录下新建文件

[soft863@hadoop102 software]$ vim $HIVE_HOME/conf/

添加如下内容

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href=""?>

<value>jdbc:mysql://hadoop100:3306/metastore?useSSL=false</value>

</property>

</property>

</property>

</property>

<value>/user/hive/warehouse</value>

</property>

<value>false</value>

</property>

<value>thrift://hadoop100:9083</value>

</property>

</property>

<value>hadoop100</value>

</property>

<value>false</value>

</property>

</configuration>

3.4、启动Hive

当在hive中执行增删改查操作时，会在Yarn上运行任务，所以需要启动Yarn服务。在启动yarn之前，最好保持容量调度器中的队列只有一个，并增加AppMaster的运行内存，修改如下：

vi /opt/module/hadoop-3.1.3/etc/hadoop/

<name>-am-resource-percent</name>

Maximum percent of resources in the cluster which can be used to run

application masters . controls number of concurrent running

applications.

</description>

</property>

此配置表示集群上AM最多可使用的资源比例，目的为限制过多的app数量，默认比例为10%，可适当调大比例。

为了防止执行hive出错，可调大虚拟机内存，比如6G。

3.5、初始化元数据库

1）登陆MySQL

[soft863@hadoop102 software]$ mysql -uroot -p123456

2）新建Hive元数据库

mysql> create database metastore;

mysql> quit;

3）初始化Hive元数据库(会执行一会)

[soft863@hadoop102 software]$ schematool -initSchema -dbType mysql -verbose

3.6、启动metastore和hiveserver2

1）Hive 以上版本，要先启动这两个服务，否则会报错：

FAILED: HiveException : Unable to instantiate

启动metastore

[soft863@hadoop202 hive]$ hive --service metastore

2020-04-24 16:58:08: Starting Hive Metastore Server

注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

启动 hiveserver2

[soft863@hadoop202 hive]$ hive --service hiveserver2

which: no hbase in (/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/opt/module/jdk1.8.0_212/bin:/opt/module/hadoop-3.1.3/bin:/opt/module/hadoop-3.1.3/sbin:/opt/module/hive/bin:/home/soft863/.local/bin:/home/soft863/bin)

2020-04-24 17:00:19: Starting HiveServer2

注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作

2）编写hive服务启动脚本

前台启动的方式导致需要打开多个shell窗口，可以使用如下方式后台方式启动

nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态

2>&1 : 表示将错误重定向到标准输出上

&: 放在命令结尾,表示后台运行

一般会组合使用: nohup [xxx命令操作]> file 2>&1 & ，表示将xxx命令运行的

结果输出到file中，并保持命令启动的进程在后台运行。

如上命令不要求掌握。

[soft863@hadoop202 hive]$ nohup hive --service metastore 2>&1 &

[soft863@hadoop202 hive]$ nohup hive --service hiveserver2 2>&1 &

为了方便使用，可以直接编写脚本来管理服务的启动和关闭

[soft863@hadoop102 hive]$ vim $HIVE_HOME/bin/

内容如下：此脚本的编写不要求掌握。直接拿来使用即可。

#!/bin/bash

HIVE_LOG_DIR=$HIVE_HOME/logs

if [ ! -d $HIVE_LOG_DIR ]

then

mkdir -p $HIVE_LOG_DIR

#检查进程是否运行正常，参数1为进程名，参数2为进程端口

function check_process()

{

pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')

ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)

echo $pid

[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1

}

function hive_start()

{

metapid=$(check_process HiveMetastore 9083)

cmd="nohup hive --service metastore >$HIVE_LOG_DIR/ 2>&1 &"

cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"

[ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"

server2pid=$(check_process HiveServer2 10000)

cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/ 2>&1 &"

[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"

}

function hive_stop()

{

metapid=$(check_process HiveMetastore 9083)

[ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"

server2pid=$(check_process HiveServer2 10000)

[ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"

}

case $1 in

"start")

hive_start

;;

"stop")

hive_stop

;;

"restart")

hive_stop

sleep 2

hive_start

;;

"status")

check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"

check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"

;;

echo Invalid Args!

echo 'Usage: '$(basename $0)' start|stop|restart|status'

;;

esac

3）添加执行权限

[soft863@hadoop102 hive]$ chmod +x $HIVE_HOME/bin/

4）启动Hive后台服务

[soft863@hadoop102 hive]$ start

1、MySql安装

2、Hive安装部署

3、Hive元数据配置到MySql

3.1、 修改

3.2、 拷贝驱动

3.3、 配置Metastore到MySql

3.4、 启动Hive

3.5、 初始化元数据库

3.6、 启动metastore和hiveserver2

相关文章

3.1、修改

3.2、拷贝驱动

3.3、配置Metastore到MySql

3.4、启动Hive

3.5、初始化元数据库

3.6、启动metastore和hiveserver2