完全分布式集群环境
virtualBox
centos6.4mini hadoop-master 192.168.1.252 master
centos6.4mini hadoop-slave1 192.168.1.251 slave
机子配置不太好 只能两个节点了
1.jdk6+版本安装配置 安装步骤略
2.mysql安装 执行命令yum install mysql-server下载安装好即可,启动mysql服务 service mysqld start,设置root密码,mysqladmin -u root -p password 123456,
3.hive-0.13.1版本 解压到指定目录(/home/yufan/program/hive),
打开hive下conf文件夹,复制一份hive-default.xml.templete文件到当前目录并且重命名为hive-site.xml，打开hive-site.xml，进行简单配置,如下
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/home/yufan/hivetmp/tmp</value>
<description>Scratch space for Hive jobs</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/home/yufan/hivetmp/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop-master:3306/hive_db?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
保存以后讲该文件复制到hadoop的/etc/hadoop/下
在hive-en.sh.templete里边添加jdk和hadoop根目录路径
hive安装到master即可
作为测试环境以上配置够了,生产环境应该会更具业务配置更多.
5.在hadoop集群中格式化后启动集群，然后新建两文件夹作为hive数据缓存目录
hadoop fs -mkdir /home/yufan/hivetmp/tmp
hadoop fs -mkdir /home/yufan/hivetmp/warehouse
6.在/etc/profile文件中添加HIVE_HOME根路径配置,classpath中添加hive文件夹下lib路劲,在path中添加hive文件夹下bin路径,source /etc/profile重建文件使之生效
7.执行以下命令测试hive安装配置
@1.hive 此时会输出一大堆信息 等等。。。。
@2.hive>create database hive_yufan; 此时会提示OK
@3.hive>show databases; 此时会输出hive_yufan
@4.hive>exit;退出
@5.mysql -u root -p 登陆mysql数据库 输入密码,
@6.mysql>show databases;此时会看到数据库hive_yufan以及mysql自带的数据库信息
@7.exit;
@8.浏览器中打开http://192.168.1.252:50070,再打开的网页界面中点击Browse the filesystem,会看到一个table,第一列是可点的,一次点进去是这样的
home/yufan/hivetmp/tmp和warehouse 这两路径在hadoop集群中新建过 而且在hive-site.xml中也曾配置过 是不是很眼熟啊？没错就是这个配置了，
点击warehouse之后就会看到刚才新建的数据库hive_yufan了
8.截图
以上是基本配置,后续学习继续添加，以备日后学习和回顾只用，有不足之处请指正