Hadoop实践(三)---MapReduce中的Counter

时间:2024-03-13 11:14:57

在Hadoop的MapReduce框架中包括6种Counters,每一种包含若干个Counter,分别对Map和Reduce任务进行统计
Tips:图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的

1、File System Counters

表示job与文件系统交互的读写统计

  • FILE_BYTES_READ: job读取本地文件系统的文件字节数

  • FILE_BYTES_WRITTEN : job向本地文件系统写入的文件字节数

  • HDFS_BYTES_READ : job读取HDFS的文件字节数(包括元数据,所以比FileInputFormatCounters中的BYTES_READ略大)

  • HDFS_BYTES_WRITTEN: job向HDFS写入的文件字节数

Hadoop实践(三)---MapReduce中的Counter

2、Job Counters

描述与job调度相关的统计

  • Data-local map tasks : Job被调度时,启动了一个data-local(在源文件的副本上执行map task的taskTracker(在hadoop 2.0中应该是NodeManager)) 【可以理解为数据本地化】

  • FALLOW_SLOTS_MILLIS_MAPS :当前job为某些map task的执行保留了slot,总共保留的时间是多少 ,此Counter就是多少(毫秒)

  • FALLOW_SLOTS_MILLIS_REDUCES :当前job为某些reduce task的执行保留了slot,总共保留的时间是多少 ,此Counter就是多少(毫秒)

  • SLOTS_MILLIS_MAPS : 所有map task占用slot的总时间,包含执行时间和创建/销毁子JVM的时间 (毫秒)

  • SLOTS_MILLIS_REDUCES: 所有reduce task占用slot的总时间,包含执行时间和创建/销毁子JVM的时间 (毫秒)

  • Launched map tasks : 此job启动了多少个map task

  • Launched reduce tasks : 此job启动了多少个reduce task

Hadoop实践(三)---MapReduce中的Counter

3、Map-Reduce Framework

这个类型包含了相当多job执行的细节

一般情况下:

  1. record就表示一行数据
  2. byte表示这行数据的大小是多少

  • Combine input records: Combiner是为了减少尽量减少需要拉取和移动的数据,所以combine输入条数与map的输出条数是一致的。

  • Combine output records:经过Combiner后,相同key的数据经过压缩,在map端自己解决了很多重复数据,表示最终在map端中间文件中的所有条目数

  • Failed Shuffles: copy线程在抓取map端中间数据时,如果因为网络连接异常或是IO异常,所引起的shuffle错误次数

  • GC time elapsed (ms):通过JMX获取到执行map与reduce的子JVM总共的GC时间消耗

  • Map input records:所有map task从HDFS读取的文件总行数

  • Map output bytes:Map的输出结果key/value都会被序列化到内存缓冲区中,所以这里的bytes指序列化后的最终字节之和

  • Map output records: map task的直接输出record是多少,就是在map方法中调用context.write的次数,也就是未经过Combine时的原生输出条数

  • Merged Map outputs: 记录着shuffle过程中总共经历了多少次merge动作

  • Reduce input groups: Reduce总共读取了多少个这样的groups

  • Reduce input records: 如果有Combiner的话,那么这里的数值就等于map端Combiner运算后的最后条数,如果没有,那么就应该等于map的输出条数

  • Reduce output records: 所有reduce执行后输出的总条目数

  • Reduce shuffle bytes:Reduce端的copy线程总共从map端抓取了多少的中间数据,表示各个map task最终的中间文件总和

  • Shuffled Maps: 每个reduce几乎都得从所有map端拉取数据,每个copy线程拉取成功一个map的数据,那么增1,所以它的总数基本等于 reduce number * map number

  • Spilled Records: spill过程在map和reduce端都会发生,这里统计在总共从内存往磁盘中spill了多少条数据

  • SPLIT_RAW_BYTES: 与map task 的split相关的数据都会保存于HDFS中,而在保存时元数据也相应地存储着数据是以怎样的压缩方式放入的,它的具体类型是什么,这些额外的数据是MapReduce框架加入的,与job无关,这里记录的大小就是表示额外信息的字节大小

Hadoop实践(三)---MapReduce中的Counter

4、Shuffle Errors

描述Shuffle过程中的各种错误情况发生次数,基本定位于Shuffle阶段copy线程抓取map端中间数据时的各种错误

  • BAD_ID: 每个map都有一个ID,如果reduce的copy线程抓取过来的元数据中这个ID不是标准格式,那么此Counter增加

  • CONNECTION : 表示copy线程建立到map端的连接有误 ,那么此Counter增加

  • IO_ERROR: copy线程如果在抓取map端数据时出现IOException,那么此Counter增加

  • WRONG_LENGTH:map端的中间结果是压缩数据,所以有两个length信息:源数据大小与压缩后数据大小。如果这两个length信息传输的有误(负值),那么此Counter增加

  • WRONG_MAP: 每个copy线程抓取的map数据不是copy线程之前定义好的map,那么就表示把数据拉错了 ,那么此Counter增加

  • WRONG_REDUCE:如果copy线程抓取的数据不是为此reduce而准备的,那还是拉错数据了,那么此Counter增加

Hadoop实践(三)---MapReduce中的Counter

5、File Input Format Counters

表示map task读取文件内容(总输入数据)的统计

  • BYTES_READ:map task的所有输入数据(字节),等于各个map task的map方法传入的所有value值字节之和

Hadoop实践(三)---MapReduce中的Counter

6、File Output Format Counters

表示reduce task写出文件内容(总输入数据)的统计

  • BYTES_Written:reduce task的所有输出数据(字节),等于各个reduce task的reduce方法写出的所有value值字节之和

Hadoop实践(三)---MapReduce中的Counter