文件名称：remap:python中的MapReduce平台
文件大小：2.03MB
文件格式：ZIP
更新时间：2024-06-12 17:09:17
HTML
重新映射 Remap能够通过网络以分布式方式运行许多核心并协调工作。 不可能做到100％通用的守护程序来执行此操作，因此涉及到一些模块来指导网络上工作进程的流程和状态跟踪，最终确定算法的行为方式。 Remap主要是用纯python编写的，除了专门用于“顶点”任务的代理。 该平台会确定是否以及有多少个节点和核心可用于运行您的算法。 这种工作方式是，您拥有一个带有map / reduce或vertex函数的python脚本文件，该文件必须可用于所有节点（本地复制或来自网络驱动器）。 然后，您只需从监视器开始作业并观看烟花。 重映射使用HTTP Rest接口。 有关端点，请参见“ http_interface”文件（应该很容易阅读）。 Remap也与气流集成在一起（请参阅airbnb），因此您可以拥有相当高级的工作流程，其中涉及到地图/缩小或顶点作业。 Remap太新了，无法进行认真的生产
【文件预览】：
remap-master
----setup.py(2KB)
----.gitignore(702B)
----images()
--------flow.svg(20KB)
--------flow.png(11KB)
----prepare_env.py(2KB)
----LICENSE(1KB)
----daemons()
--------core()
--------node()
--------initiator()
--------vertexbroker()
--------lib()
--------broker()
----testdata()
--------html()
--------highest()
--------gutenberg()
--------graph()
--------csv()
----DESCRIPTION.rst(1KB)
----examples()
--------pagerank()
--------wordcount()
--------highest()
--------collation()
--------secondarysort()
----README.md(2KB)
----tests()
--------adhoc()
--------unit()
--------examples()
--------scripts()
----INSTALL(981B)
----dev()
--------basic_elements.py(5KB)