MRCluster:NodeJS 上的多核伪 MapReduce 实现

时间:2024-07-23 15:23:19
【文件属性】:

文件名称:MRCluster:NodeJS 上的多核伪 MapReduce 实现

文件大小:3.9MB

文件格式:ZIP

更新时间:2024-07-23 15:23:19

JavaScript

节点 NodeJS 上的单节点多核伪 MapReduce 实现。 输入文件被自动分成块并分发到 Mappers 和 Reducers。 可以在自述文件中找到实现示例。 安装 npm install mrcluster 功能列表 .file : MR 任务的输入文件或文件数组。 .lineDelimiter : 数据中换行符的分隔符。 .blockSize :每个块的大小(以 Mb 为单位)。 .sample :要运行的样本块数(以测试您的代码)。 .cache : 将一个 javascript Object预加载并缓存到Mapper和Reducer 。 .fn :将自定义函数预加载到Mapper和Reducer 。 .mapOnly :仅执行映射。 .numMappers : 要使用的.numMappers数量。 .numReducers : 要使用的.numRedu


【文件预览】:
MRCluster-master
----mrcluster_worker.js(6KB)
----package.json(1KB)
----0_0_18()
--------Node-MapReduce.js(9KB)
--------worker_transform_stream.js(3KB)
----hash.js(4KB)
----examples()
--------countUniqueDomains.js(753B)
--------naiveBayesian.js(4KB)
--------mockdata_from_mockaroo.csv(2.8MB)
--------getSimilarUser.js(713B)
--------mockdata2_from_mockaroo.csv(3.69MB)
--------journeyTRUE.js(5KB)
--------stopwords.csv(551B)
--------rehash.js(711B)
--------ohsumed-allcats.csv(5.23MB)
----mrcluster.js(11KB)
----README.md(19KB)
----.npmignore(8B)

网友评论