搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive

时间:2021-10-18 06:09:44

网上下载mysql安装包文件,我下载的是:mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz,tar解压后mv到mysql文件夹,

启动mysql服务

service mysqld start

登录mysql

mysql -u root -p

输入密码后,登录成功

创建数据库hive,用来保存hive元数据

create database hive;

操作数据库的权限

grant all on hive.* to root@'*' identified by '123456789'

flush privileges;

到此,hive的元数据库安装完成。

注:中间也遇到很多问题,如安装完成后初始密码无效,登录不了mysql,赋予权限语句错误.....

这里就不详细记录了。

接下来开始安装hive

hive安装了两次,第一次安装hive2.1.1版本后,启动不了,一直报以下错误

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor

经各种操作及配置,还是启动不了,最后降低hive版本后,问题解决,下面详细说明下安装步骤:

1.下载安装包文件,并把文件上传到/opt文件夹下面,

tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz

解压后,目录如下:/opt/hive-0.13.1

2.在/opt/hive-0.13.1/conf目录下新建hive-site.xml文件,配置如下:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
     <name>hive.metastore.local</name>
     <value>true</value>
  </property>
  <property>

    <name>javax.jdo.option.ConnectionURL</name>

     <value>jdbc:mysql://192.168.205.136:3306/hive?createDatabaseIfNotExist=true</value>

  </property>  //元数据库名hive
  <property>
  <name>hive.metastore.schema.verfication</name>
  <value>false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
</property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>   //数据库用户名
  </property>
  <property>
   <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456789</value>   //数据库密码
  </property>
</configuration>

配置hive-env.sh文件,在文件末尾加上

export HADOOP_HOME=/opt/hadoop-2.7.5
export JAVA_HOME=/opt/java1.8.0_121
export HIVE_CONF_DIR=/opt/hive-0.13.1/conf
export HIVE_AUX_JARS_PATH=/opt/hive-0.13.1/lib
修改/etx/profile文件,加上以下语句

export HIVE_HOME=/opt/hive-0.13.1

export PATH=$PATH:$HIVE_HOME/bin

然后执行source /ec/profile使环境变量立即生效

把mysql的JDBC驱动jar包移动到lib目录下,否则hive不能成功连接mysql。

到此HIVE安装完成,先启动hadoop mysql,然后启动hive可以验证安装是否成功。

搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive