1.安装前的准备:
首先需要搭建好hadoop集群并启动(需要启动hdfs和yarn)
mysql启动正常
2.hive的安装
方式一(不推荐):内嵌 Derby 版本
1、 上传安装包 apache-hive-2.3.2-bin.tar.gz
2、 解压安装包 tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /home/hadoop/apps/
3、 进入到 bin 目录,运行 hive 脚本:[[email protected] bin]$ ./hive
方式二(推荐):外置 MySQL 版本
1、 准备好 MySQL(设置好远程连接)
2、 上传安装包 apache-hive-2.3.3-bin.tar.gz
3、 解压安装包 tar -zxvf apache-hive-2.3.3-bin.tar.gz -C ~/apps/
4、 修改配置文件(安装在哪里都可以,为了演示我们mysql安装在hadoop02,hive我们安装在hadoop05)
[[email protected] ~]# cd /home/hadoop/apps/apache-hive-2.3.3-bin/conf
[[email protected] conf]# touch hive-site.xml
[[email protected] conf]# vi hive-site.xml
写入内容如下
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop02:3306/hive_metastore_233?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
<!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost -->
<!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost -->
<!-- 如果 mysql 和 hive 在同一个服务器节点,那么请更改 hadoop02 为 localhost -->
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>password to use against metastore database</description>
</property>
</configuration>
5.一定要记得加入 MySQL 驱动包(mysql-connector-java-5.1.40-bin.jar)
该 jar 包放置在 hive的根路径下的 lib 目录
上传MySQL 驱动包(mysql-connector-java-5.1.40-bin.jar)
mv mysql-connector-java-5.1.40-bin.jar ~/apps/apache-hive-2.3.3-bin/lib/
6.确保hadoop集群和mYSQL启动正常
7.安装完成,配置环境变量
vi ~/.bashrc
添加以下两行内容:
export HIVE_HOME=/home/hadoop/apps/apache-hive-2.3.3-bin
export PATH=$PATH:$HIVE_HOME/bin
保存退出。
[[email protected] bin]$ source ~/.bashrc
8.验证 Hive 安装
[[email protected] bin]$ hive --help
9.初始化元数据库
注意:当使用的 hive 是 2.x 之前的版本,不做初始化也是 OK 的,当 hive 第一次启动的时候会自动进行初始化,只不过会不会生成足够多的元数据库中的表。在使用过程中会慢慢生成。但最后进行初始化。如果使用的 2.x 版本的 Hive,那么就必须手动初始化元数据库。使用命令:
[[email protected] bin]$ schematool -dbType mysql -initSchema
10.启动 Hive 客户端
注意要先启动mysql:
[[email protected] ~]$ service mysql start
查看mysql启动进程:
[[email protected] ~]$ ps -ef|grep mysql
hive --service cli
或者 hive
11.测试
先进入http://hadoop03:50070 查看一下
创建一个数据库:
create database myhive;
执行完命令查看发现多了一个文件夹
点进去之后,发现出现如下图所示多了一个myhive的数据库
同时也增加了一条映射记录在mysql里面
查看显示数据库
show databases;
使用数据库
use 数据库名;
创建一张表(以下两条命令都可以): 95022,郑明,男,20,MA"
create table student(id int, name string, sex string, age int, department string) row format delimited fields terminated by "," lines terminated by "\n";
create table student(id int, name string, sex string, age int, department string) row format delimited fields terminated by ",";
发现hdfs的相关路径文件夹下中多了一张表
同时也增加了一条表的映射记录
同时也增加了字段的映射
然后把student.txt文件上传到linux系统中。
里面的内容是
95002,刘晨,女,19,IS
95017,王风娟,女,18,IS
95018,王一,女,19,IS
95013,冯伟,男,21,CS
95014,王小丽,女,19,CS
95019,邢小丽,女,19,IS
95020,赵钱,男,21,IS
95003,王敏,女,22,MA
95004,张立,男,19,IS
95012,孙花,女,20,CS
95010,孔小涛,男,19,CS
95005,刘刚,男,18,MA
95006,孙庆,男,23,CS
95007,易思玲,女,19,MA
95008,李娜,女,18,CS
95021,周二,男,17,MA
95022,郑明,男,20,MA
95001,李勇,男,20,CS
95011,包小柏,男,18,MA
95009,梦圆圆,女,18,MA
95015,王君,男,18,MA
然后,往创建好的student表中插入一份数据文件:(注意先使用student表所在的数据库)
load data local inpath "/home/hadoop/student.txt" into table student;
使用SQL进行查询
到此hive即为安装正常
12.退出hive
hive> quit;
或者hive> exit;