文件名称:WordCountHadoopProject:Hadoop2.6.0分布式计算的word count map-reduce maven java项目
文件大小:31KB
文件格式:ZIP
更新时间:2024-06-25 04:22:33
Java
WordCountHadoop项目 用于 Hadoop2.6.0 分布式计算的 Word count map-reduce maven java 项目。 这最初只是一个字数统计代码,但此项目中添加了更多内容。 它与文件一起添加以计算项目数组中出现的术语的相对频率。 这些正在通过三种不同的方式解决。 配对方法(最简单的映射器和化简器) 条纹方法 混合方法 ###上面有三个单独的 *.sh 文件来运行不同的算法。 设置 您的系统中应该有 java 1.7 或更高版本,maven 3.3 克隆项目 打包mvn package 然后生成的jar文件就可以在hadoop中使用了。 调用hadoop指定配置文件hadoop的输入和输出hdfs文件系统。 有关使用生成的 jar 文件运行 hadoop 的代码,请参阅上面的 *.sh 文件。 参考: :
【文件预览】:
WordCountHadoopProject-master
----pairs.sh(336B)
----hybrid.sh(339B)
----input()
--------text.txt(108B)
----pom.xml(1KB)
----stripes.sh(342B)
----output()
--------hybrid()
--------_SUCCESS(0B)
--------pairs()
--------part-r-00000(938B)
--------stripes()
----.settings()
--------org.eclipse.m2e.core.prefs(86B)
--------org.eclipse.jdt.core.prefs(652B)
----src()
--------main()
----.project(606B)
----hybrid.sh~(339B)
----.classpath(8KB)
----.gitignore(67B)
----README.md(966B)