MultipleInputFormat:Map Reduce中多输入格式的使用

时间:2024-07-27 03:04:24
【文件属性】:

文件名称:MultipleInputFormat:Map Reduce中多输入格式的使用

文件大小:4KB

文件格式:ZIP

更新时间:2024-07-27 03:04:24

Java

多输入格式 Map Reduce中多输入格式的使用 Multiple Input Format的主要用途是通过Map Reduce Programming处理两个或多个不同格式的输入文件。 在我给出的示例程序中,我正在对两种不同格式的文件进行字数统计 - 空格分隔(输入)和逗号分隔(输入)。 由于两个文件的输入数据不同,我们在两个映射程序中处理,一个用于空格分隔,另一个用于逗号分隔。 reducer 程序保持不变,因为 Mapper 的输出将保持不变。 空间分隔文件的映射器是 MulInpFormatsMap.java 逗号分隔文件的映射器是 MulInpFormatcMap.java 以下是在驱动程序中使用多输入格式的语法。 MultipleInputs.addInputPath(wcJob, new Path(args[0]), TextInputFormat.class,


【文件预览】:
MultipleInputFormat-master
----MulInpFormatsMap.java(613B)
----MulInpFormatJob.java(2KB)
----MulInpFormatcMap.java(613B)
----README.md(992B)
----input-data()
--------inputc(101B)
--------inputs(55B)
----MulInpFormatReduce.java(541B)

网友评论