018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

时间:2022-09-02 16:44:19

一:目标

1.目标

  在yarn的8080页面可以跳转到spark的日志18080页面。

  因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接。

2.总结

  在后面可以看到,其实不需要启动mr-history的。

  因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可。

二:操作步骤

1.先开启服务

  yarn,hdfs,spark

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

2.运行程序

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

3.在yarn上无法观察history

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

4.因为没有开启服务 

  1. MR的job History服务启动(不需要启动)
    mr-jobhistory-daemon.sh start historyserver
    http://hadoop-senior01:19888/jobhistory
  2. Spark的Job History服务启动
    sbin/start-history-server.sh

5.结果

  可以看18080端口。

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

  但是,在yarn上的history仍然不可以跳转到spark的日志页面。

二:解决方法

1.关闭所有的服务

  因为需要修改spark与hadoop的配置文件

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

2.修改yarn-site.xml

  其中,enable已经在MR的yarn中被配置过。

  只要配置一下url。

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

3.修改spark-defaults.conf

  eventLog.dir的作用的聚合作用。

  在spark-default-site.xml中的配置是展示的作用,展示的文件夹与端口号。

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

4.重启服务

  启动yarn,然后spark的history。

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

5.继续运行刚才的程序

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

6.开始观看所有的效果(首先是18080端口)

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

7.继续(yarn的8088端口的history点击)

  yarn的8088端口

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

  单击后跳到这个界面(18080端口)

  018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面