hadoop-example:hadoop入门例子实践

时间:2024-06-06 01:12:21
【文件属性】:

文件名称:hadoop-example:hadoop入门例子实践

文件大小:231KB

文件格式:ZIP

更新时间:2024-06-06 01:12:21

Java

hadoop-example hadoop入门例子实践 wordCount: MAP阶段:使用StringTokenizer 将一行String分离成不同的单词,输出, 例如 REDUCE阶段: 例子如下> 将VALUE的值进行相加,输出结果 remove duplication MAP阶段: MAP阶段:将数据源的VALUE作为key输出,VALUE随意 REDUCE阶段:因为是去除重复,>, 将以上的数据源只保留KEY值进行输出即可。 Sort MAP阶段:将数据进行读取,输出key值为IntWritable,hadoop会对其进行排序。输出的value为1.目的是出现重复的数字。 REDUCE阶


网友评论