HUE配置文件hue.ini 的Spark模块详解(图文详解)(分HA集群)

时间:2022-05-29 04:39:46

 

不多说,直接上干货!

  我的集群机器情况是 bigdatamaster(192.168.80.10)、bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12)

  然后,安装目录是在/home/hadoop/app下。

 

  官方建议在master机器上安装Hue,我这里也不例外。安装在bigdatamaster机器上。

 

 Hue版本:hue-3.9.0-cdh5.5.4
 需要编译才能使用(联网)


 说给大家的话:大家电脑的配置好的话,一定要安装cloudera manager。毕竟是一家人的。
同时,我也亲身经历过,会有部分组件版本出现问题安装起来要个大半天时间去排除,做好心里准备。废话不多说,因为我目前读研,自己笔记本电脑最大8G,只能玩手动来练手。
纯粹是为了给身边没高配且条件有限的学生党看的! 但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

大数据领域两大最主流集群管理工具Ambari和Cloudera Manger

Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

 

 

  一、默认的spark配置文件

HUE配置文件hue.ini 的Spark模块详解(图文详解)(分HA集群)

###########################################################################
# Settings to configure the Spark application.
###########################################################################

[spark]
# Host address of the Livy Server.
## livy_server_host
=localhost

# Port of the Livy Server.
## livy_server_port
=8998

# Configure livy to start with
'process', 'thread', or 'yarn' workers.
## livy_server_session_kind
=process

# If livy should use proxy users when submitting a job.
## livy_impersonation_enabled
=true

# List of available types of snippets
## languages
='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

 

 

 

 

 

 

 

 

 

二、以下是跟我机器集群匹配的配置文件(非HA集群下怎么配置Hue的spark模块)

  我的spark是安装在bigdatamaster、bigdataslave1和bigdataslave2机器上。

   

  注意: 要在Hue中使用Spark还需要安装spark-jobserver,但是这个东西没在CDH中,所以我们必须手动安装spark-jobserver 先要安装SBT。SBT = (not so) Simple Build Tool,是scala的构建工具,与java的maven地位相同。

curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/
sudo yum install sbt

 

 

  安装好SBT后,安装spark-jobserver

git clone https://github.com/ooyala/spark-jobserver.git
cd spark-jobserver
sbt
re
-start

 

 

  编辑jobserver 配置文件,将jobserver跟你的spark-master连接上。编辑 job-server/src/main/resources/application.conf 修改master属性

master = "spark://bigdatamaster:7077"

 

 

  

  编辑 hue.ini 找到 [spark] 段落,修改 server_url 为正确的地址

 

[spark]
# URL of the REST Spark Job Server.
server_url=http://host1:8090/


 

 

 

 

 

 

三、以下是跟我机器集群匹配的配置文件(HA集群下怎么配置Hue的pig模块)

  跟非HA集群一样的配法。