MapReduceFramework:简化的MapReduce框架

时间:2024-05-18 15:56:12
【文件属性】:

文件名称:MapReduceFramework:简化的MapReduce框架

文件大小:389KB

文件格式:ZIP

更新时间:2024-05-18 15:56:12

Java

Map-Reduce框架 这是用Java实现的简化MapReduce框架。 该框架包含两种类型的节点: 一位大师 主节点将任务分配给工作人员并在工作人员之间进行协调。 主服务器还具有一个状态页面,该页面显示当前在线的工作人员列表以及有关每个工作人员的一些信息。 多名工人工人负责运行地图并简化功能,并存储数据。 我的MapReduce框架还支持工作负载平衡以更好地利用计算资源。 指示: master和worker被实现为Java Servlet。 将主servlet和工作servlet加载到不同机器上的不同servlet容器(例如Tomcat)中。 为每个工作程序设置本地存储目录,然后将要在MapReduce框架上运行的文件放在这些存储目录中。 启动服务器并运行master / worker servlet。 打开主状态页面,设置Map / Reduce作业,输入目录,输出


【文件预览】:
MapReduceFramework-master
----submit-hw3.zip(121KB)
----target()
--------worker()
--------master()
----build.xml(2KB)
----WebContent()
--------META-INF()
--------WEB-INF()
----.settings()
--------org.eclipse.wst.jsdt.ui.superType.name(6B)
--------org.eclipse.wst.common.project.facet.core.xml(245B)
--------org.eclipse.wst.common.component(448B)
--------org.eclipse.wst.jsdt.ui.superType.container(49B)
--------.jsdtscope(491B)
--------org.eclipse.jdt.core.prefs(357B)
----src()
--------edu()
----.project(1KB)
----classes()
--------edu()
----.classpath(453B)
----lib()
--------servlet-api.jar(95KB)
----README.md(1KB)
----.svn()
--------pristine()
--------wc.db(46KB)
--------entries(3B)
--------format(3B)

网友评论