hue安装步骤+mysql元数据存储、hive、hadoop做集成

时间:2024-04-07 16:40:30
1. 使用yum工具来安装hue相关的依赖软件:
sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap-devel python-devel python-simplejson sqlite-devel
2. 下载hue软件包
cd /keduox
解压:tar -zxvf hue-4.0.1.tgz
cd hue-4.0.0
进行编译:make apps
 
如果报以下异常:需要安装相应环境
hue安装步骤+mysql元数据存储、hive、hadoop做集成
yum install -y libffi libffi-devel
 
src/_fastmath.c:36:18: 错误:gmp.h:没有那个文件或目录 
 yum install gmp-devel
 
然后重新编译 make apps
3.相关配置
 
配置hadoop
配置hdfs-site.xml
      
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
配置core-site.xml
<property>
 <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>
配置httpfs-site.xml
<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>
 
配置hue.ini
cd /keduox/hue-4.0.0/desktop/conf
vi hue.ini
修改配置
**:
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW
时区:
time_zone=Asia/Shanghai
 
添加mysql设置
[[databases]]下配置mysql属性
hue安装步骤+mysql元数据存储、hive、hadoop做集成
 
 
 
集成hive
hive_server_host=master
hive_server_port=10000
hive_conf_dir=/keduox/apache-hive-2.1.1-bin/conf
集成hadoop
fs_defaultfs=hdfs://master:9000
logical_name=master
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_hdfs_home=/keduox/hadoop-2.6.5
hadoop_conf_dir=/keduox/hadoop-2.6.5/etc/hadoop
配置yarn
[hadoop].[[yarn_clusters]].[[[default]]]
resourcemanager_host=master
resourcemanager_port=8032
resourcemanager_api_url=http://master:8088
proxy_api_url=http://master:8088
集成hbase
[hbase]节点下
hbase_clusters=(Cluster|master:9090)
hbase_conf_dir=/keduox/hbase-1.2.5/conf
 
4.启动
首先启动hadoop
start-all.sh
然后需要同时启动hivemetastorehiveserve2
nohup hive --service metastore &
nohup hive --service hiveserver2 &
Hue需要读取HBase的数据是使用thrift的方式,默认HBasethrift服务没有开启,所有需要手动额外开启thrift 服务。 
thrift service默认使用的是9090端口,使用如下命令查看端口是否被占用
netstat -nl|grep 9090
启动thrift service
hbase-daemon.sh start thrift
build/env/bin/hue runserver 192.168.200.200:8181
浏览器输入192.168.200.200:8181可进入hue界面
异常:
如果修改配置文件后,启动后无法进人hue界面,可能是配置文件被锁住了,或者hadoop、hive等服务没有启动起来
cd /keduox/hue-4.0.0/desktop/conf
ls –a
rm –rf hue.ini.swp
 
 
在hue界面看到如下异常,导致hive无法使用

安装插件:
yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
 
#解决hue ui界面查询中文乱码问题
在[[[mysql]]]节点下
options={ "init_command":"SET NAMES 'utf8'"}
 
2.解决数据库被锁住问题
参考文章:
 
database is locked
 
hue默认使用sqlite作为元数据库,不推荐在生产环境中使用。会经常出现database is lock的问题。
更改为使用mysql作为元数据库
首先在mysql中创建数据库 hue
然后修改hue.ini配置文件
在[[database]]节点***意跟上面配mysql不是同一个节点)
hue安装步骤+mysql元数据存储、hive、hadoop做集成
cd /keduox/hue-4.0.0/build/env
bin/hue syncdb
bin/hue migrate
 
hue安装步骤+mysql元数据存储、hive、hadoop做集成

最后进入hue界面:http://192.168.200.200:8181

hue安装步骤+mysql元数据存储、hive、hadoop做集成

 

解决hue查询乱码问题,添加红色内容:
[[databases]]
[[[mysql]]]
nice_name="My SQL DB"
engine=mysql
host=192.168.200.200
port=3306
user=root
password=123456
options={"init_command":"SET NAMES 'UTF8'"}