Unix友好的Map-Reduce并行化替代方案-Rust开发

【文件属性】：

文件名称：Unix友好的Map-Reduce并行化替代方案-Rust开发

文件大小：1.92MB

文件格式：ZIP

更新时间：2024-06-16 13:55:08

Rust Utilities

像parallel --pipe --roundrobin一样，但是负载平衡是基于输入行哈希来执行的。 在子进程中执行键聚合时，这一点至关重要，因为那时只有一个分片包含给定的键。 slb：分片的负载平衡器类似于parallel --pipe --roundrobin，但是负载平衡是基于输入线哈希来执行的。 在子进程中执行键聚合时，这一点至关重要，因为那时只有一个分片包含给定的键。 这是一个16物理cpu机器上的字数示例：货物构建-释放curl -o enwik9.bz2 https://cs.fit.edu/~mmahoney/compression/enwik9.bz2 bunzip2 enwik9.bz2示例/ clean .sh enwik9.clean; rm enwik9 / usr / bin / time -f“％e sec” awk -f ex

【文件预览】：
slb-main
----.gitignore(329B)
----test.sh(948B)
----slb()
--------src()
--------Cargo.toml(199B)
----LICENSE(11KB)
----Cargo.toml(35B)
----examples()
--------svm-featurecount.awk(190B)
--------pride-and-prejudice.txt(781KB)
--------mobydick.txt(628KB)
--------frankenstein.txt(438KB)
--------wc.awk(194B)
--------svm-countdistinct.awk(360B)
--------bible.txt(4.25MB)
--------clean.sh(267B)
----README.md(5KB)