Ambari—Hive配置HA(四)

时间:2024-03-23 11:48:34

1、Hive

4.1 Hive Metastore

Hive Metastore HA解决方案旨在处理Metastore服务失败。每当部署的Metastore服务关闭时,Metastore服务在相当长的时间内都会保持不可用状态,直到恢复服务为止。为避免此类停机,在HA模式下部署Metastore服务。

Hive Metastore客户端始终使用第一个URI连接Metastore服务器。如果Metastore服务器变得无法访问,则客户端从列表中随机选取一个URI并尝试与其连接。

更新Hive Metastore

如果HDFS的NameNode启用HA,先更新Hive Metastore以引用NameService而不是Name Node

1Hive Metastore的计算机上打开命令提示符

2)设置HIVE_CONF_DIR环境变量:

export HIVE_CONF_DIR=/etc/hive/conf.server

3)执行以下命令以检索filesystem rootURI列表,包括NameService的位置:

hive --service metatool -listFSRoot

4)使用-dryRun选项执行以下命令以在执行配置更改之前测试您的配置:

hive --service metatool -updateLocation <nameservice-uri> <namenode-uri> - dryRun

(5)再次执行该命令,这次没有-dryRun选项:

hive --service metatool -updateLocation <nameservice-uri> <namenode-uri> 

可参照个人之前配置NameNode HA链接(操作步骤(16)):

http://blog.csdn.net/ZhouyuanLinli/article/details/79387937

先决条件

如果您在Hive中启用了ACID,请确保仅在一个 Hive Metastore主机上启用“Run Compactor”设置(设置为True)。

步骤

1)在Web界面中,浏览Services > Hive

2)在Service Actions中,单击+ Add Hive Metastore选项。

3)选择主机来安装额外的Hive Metastore; 然后点击Confirm Add

4Ambari安装该组件并重新配置Hive以处理多个Hive Metastore实例。


4.1 HiveServer2

多个HiveServer2实例的部署示例

Ambari—Hive配置HA(四)

步骤

1)在Web页面中,浏览要安装其他HiveServer2组件的主机。

2)在主机页面上,单击+Add

3)从列表中单击HiveServer2

安装额外的HiveServer2


在未添加到群集的新主机上安装了新的HiveServer2(HS2)实例

步骤

(1)在浏览器中打开Ambari并单击Hosts tab。

(2)在主机页面上,单击Actions,然后选择Add New Hosts:

Ambari—Hive配置HA(四)

(3)按照添加主机向导的说明操作。

(4)完成将主机添加到群集后,单击Services tab。

(5)在“服务”页面上,单击浏览器左侧的服务列表中的Hive。

(6)在Hive Services页面的右上角,单击Service Actions,然后选择 Add HiveServer2:

Ambari—Hive配置HA(四)

(7)在确认对话框中,选择步骤(1)-(3)中添加的主机,然后单击Confirm Add。
添加HS2的进度显示在后台操作运行对话框中。完成后单击OK关闭对话框。

4.3 WebHCat Server

步骤

1)Web中,浏览要安装其他WebHCat Server的主机。

2)在Host页面上,单击+Add

3)从列表中单击WebHCat

Ambari安装新服务并重新配置Hive以管理多个Metastore实例。

注明:WebHCat Server需要和Pig Client以及ZooKeeper Client安装在同一主机上