文件名称:map-reduce-samples:实验图简化代码
文件大小:29KB
文件格式:ZIP
更新时间:2024-05-27 06:05:49
Java
地图减少样本 这是我的回购,其中包含一些map reduce代码示例。 每个都位于不同的Java包命名空间中。 对于每个样本,我都包含了一些使用mrunit(map-reduce单元)的简单测试。 这是一个标准的Maven项目,因此您可以使用以下命令进行构建: mvn clean install 字数 程序包:com.sodonnel.Hadoop 这是wordcount示例的一种变体,在该示例中,我获取了一个CSV文件,并将每一行都溢出到了映射器中的逗号上。 然后,我将结果传递给reducer,在reducer中,它计算输入文件中每个唯一单词的总出现次数。 扇出 软件包:com.sodonnel.Hadoop.Fan 此示例的想法是获取一个输入文件,并将记录散开到许多输出文件中。 本示例仅使用不带减速器的映射器。 它读取输入文件并提取每行的第一个字符。 然后将该行写入与该字
【文件预览】:
map-reduce-samples-master
----.gitignore(9B)
----src()
--------main()
--------test()
----.classpath(1KB)
----data_set()
--------*()
----.settings()
--------org.eclipse.m2e.core.prefs(86B)
--------org.eclipse.core.resources.prefs(185B)
--------org.eclipse.jdt.core.prefs(238B)
----pom.xml(2KB)
----.project(593B)
----readme.md(1KB)
----input()
--------data.csv(42B)