akka-mapreduce:基于Scala和Akka的map-reduce框架

【文件属性】：
文件名称：akka-mapreduce:基于Scala和Akka的map-reduce框架
文件大小：14KB
文件格式：ZIP
更新时间：2021-05-20 06:47:59
Scala Akka MapReduce akka-mapreduce是一个基于Scala和Akka的库，可使用Scala中的Akka actor运行所有“ map”和“ reduce”任务并行运行的map-reduce作业。 在我们的框架中，最初使用Akka Stream读取数据，我们要做的是提供一个 ，可用作流的接收器，并行处理数据块，并在流结束时汇总来自多个reducer的结果。 我们的Wiki有了地图缩减数据处理问题的。 我们认为，在某些特定情况下，我们的框架提供了比Hadoop Streaming或Scala并行集合更好的替代方案。 我们的项目针对的情况是，您只能在单个多核计算机上运行单片应用程序，并且输出数据能够容纳可用的RAM内存。 处理完全在内存中进行，这与Hadoop Streaming的工作方式不同。 Spark也可以在内存中运行解析器，但是我们认为在某些情况下将Mapredu