[读书笔记]Hadoop权威指南 第3版

时间:2023-12-29 23:29:32

下面归纳概述了用于设置MapReduce作业输出的压缩格式的配置属性。如果MapReduce驱动使用了Tool接口,则可以通过命令行将这些属性传递给程序,这比通过程序代码来修改压缩属性更加简便。

MapReduce的压缩属性
属性名称 类型 默认值 描述
mapred.out.compress boolean false 压缩输出
mapred.out.compression.codec 类名称 org.apache.hadoop.io.compress.DefaultCodec map输出所用的压缩codec
Mapred.out.compression.type String RECORD SequenceFile的输出可以试用的压缩类型:NONE、RECORD或者BLOCK