文件名称：MyMapReduce:mapreduce的实现
文件大小：297KB
文件格式：ZIP
更新时间：2024-07-29 04:08:15
Java
SHAVADOOP 项目 Map Reduce在Java中的实现 一、简介 作为该项目的一部分，我实施了一个程序，该程序遵循 Google 科学论文的 Map Reduce 架构。 这个程序是用 Java 编写的，对给定的文档执行“字数统计”，并返回一个包含每个单词出现次数的文件。 在该程序的架构中，有一个 Master 负责指导 Map-Reduce 作业，而 Slaves 是远程机器，它们以分布式方式执行任务。 主机读取和剪切 - 根据给定的行数 - 输入文本，并将行以分布式方式发送给 Slaves，Slaves 将“拆分”数据并将它们以 Key (word) 的形式写入文件中 -值（单词出现的次数）。 这一步是地图。 在每个“拆分”结束时，Master 读取文件并构建一个字典，该字典将引用找到它们的单词和文件。 键（字）-值（文件地址） 当所有 Maps 完成后，对于字典中的每
【文件预览】：
MyMapReduce-master
----Split_Mapping.jar(2KB)
----um4.txt(121B)
----src()
--------map_shavadoop()
--------shavadoop()
--------local_shavadoop()
--------reduce_shavadoop()
----bin()
--------map_shavadoop()
--------shavadoop()
--------local_shavadoop()
--------reduce_shavadoop()
----um3.txt(191B)
----input.txt(15KB)
----um1.txt(149B)
----Reduce_Map.jar(2KB)
----README.md(8KB)
----liste_pc(2KB)
----result.txt(0B)
----jsch-0.1.51.jar(256KB)
----um2.txt(156B)