文件名称:java8看不到源码-ooso:用于运行无服务器MapReduce作业的Java库
文件大小:48.67MB
文件格式:ZIP
更新时间:2024-06-24 12:40:25
系统开源
java8 看不到源码 Ooso 允许您以无服务器方式运行 MapReduce 作业。 它基于托管云服务,主要是标准临时查询和批处理工具(如 和 )的替代品。 目录 一、架构和工作流程 库工作流程如下: 工作流首先调用Mappers Driver lambda 函数 Mappers Driver做两件事: 它计算批次的数据拆分并将每个批次分配给一个Mapper 它调用一个Mappers Listener lambda 函数,该函数负责检测映射阶段的结束 一旦Mappers Listener检测到 map 阶段结束,它就会调用Reducers Driver函数的第一个实例 Reducers Driver有点类似于Mappers Driver : 如果我们处于 reduce 阶段的第一步,它会从Map Output Bucket计算批次,或者从位于Reduce Output Bucket中的先前 reducers 输出计算批次。 然后它将每个批次分配给一个Reducer 它还为 reduce 阶段的每个步骤调用一个Reducers Listener 。 一旦Reducers Listene
【文件预览】:
ooso-master
----images()
--------directory_tree.png(20KB)
--------MyArchitecture.png(68KB)
--------library-logo.png(185KB)
----ooso()
--------src()
--------pom.xml(6KB)
----examples()
--------ad-hoc-example-1()
--------ad-hoc-example-2()
--------batch-processing-example()
----CONTRIBUTING.md(100B)
----.travis.yml(592B)
----LICENSE(734B)
----README.md(14KB)