MapReduce性能优化_1. 性能测量

时间：2022-06-08 18:26:58
本文翻译于 《Hadoop in Practice》, 摘抄自： 大牛翻译系列

性能调优的基础主要依赖于系统的性能指标和实验数据。依据这些指标和数据，才能找到系统的性能瓶颈。性能指标和实验数据要通过一系列的工具和过程才能得到。

这部分里，将介绍Hadoop自带的工具和性能指标。还将捎带介绍性能监控工具。 

1 抽取作业统计数据[job statistics]的工具

这一章中介绍的很多技术都需要从Hadoop中抽取作业和任务的性能指标。有以下三种办法抽取这些统计数据：

  1. 用JobTracker UI来查看作业和任务的计数器。
  2. 用Hadoop CLI（命令行界面）来查看作业和任务计数器。此外，还可以从作业历史信息中获得其他性能指标。
  3. 用本书提供的工具来从作业历史中抽取性能指标

后两种工具的优势在于，既可以看现状信息，也可以看历史信息。好了，现在就开始介绍作业历史信息，以及怎么用Hadoop CLI和本书的工具来从中抽取性能指标。

作业历史信息和CLI（命令行界面）

每个MapReduce都会生成作业统计数据文件。在文件中有作业和任务的统计信息。查看这些统计信息的最便捷的方法就是使用Hadoop CLI。把这些统计信息抽取到HDFS的output目录中的过程命令如下：

<span style="color:#ff0000;">$ hadoop job -history outputHadoop job: job_201112081615_0181</span>=====================================Job tracker host name: localhostSubmitted At: 23-Dec-2011 08:55:22Launched At: 23-Dec-2011 08:55:22 (0sec)Finished At: 23-Dec-2011 08:55:37 (15sec)Status: SUCCESSCounters: |Group Name |Counter name |Map Value |Reduce Value|Total |-------------------------------------------------------------------|FileSystem |FILE_BYTES_READ |0 |961,831 |961,831|FileSystem |HDFS_BYTES_READ |696,068 |0 |696,068|FileSystem |FILE_BYTES_WRITTEN |1,071,837 |1,071,519 |2,143,356|FileSystem |HDFS_BYTES_WRITTEN |0 |784,221 |784,221... Analysis=========Time taken by best performing map task 2secAverage time taken by map tasks: 2secWorse performing map tasks:TaskId Timetakentask_201112081615_0181_m_000001 2sec...

上述输出信息只是这个命令得到的结果中的一小部分。如果要深入了解，还是亲自执行一下命令，看看全部的输出信息。在上述输出信息中，包含任务任务执行时间的平均值和最差值。通过这些信息，可以很快了解全体性能指标的大致状况。那么，作业的历史信息文件在哪呢？图6.1说明了它的位置：

Figure 6.1. The job history file location

MapReduce性能优化_1. 性能测量MapReduce性能优化_1. 性能测量

作业历史信息文件的后缀名是 jar。尽管很迷惑人，但它实际上是文本文件，由JobHistory类整理而成。如果有兴趣，可以用JobHistory类来对这个jar文件作逆向工程，生成一个java形式的文件。这里可以只用Hadoop CLI来从HDFS ouput目录和NameNode log目录中抽取作业的统计信息。其实，本书提供的工具也可以完成这些工作。

 

2 监控

监控正在运行的MapReduce作业的CPU，内存，网络等各项性能指标无疑是重要的。了解这些指标可以避免硬件系统的部分闲置和过载。如果硬件系统过载了，那么由此而来的资源竞争，CPU上下文切换，内存页交换等就会浪费大量时间。如果硬件系统部分闲置了，那就是浪费资源。

要对系统的运行状态进行自动监控，然后才能够得到硬件系统的历史性能信息，并在特定的情况下发出警告信息。现在有很多这方面的工具：

Figure 6.2. Ganglia screenshots showing CPU utilization for multiple hosts

MapReduce性能优化_1. 性能测量

 


标签：

相关文章