文件名称：spark-mpi:面向MPI的Spark计算模型扩展
文件大小：5.33MB
文件格式：ZIP
更新时间：2024-06-04 01:12:45
C
SPARK-MPI 该项目通过使用基于的员工间通信模型扩展平台来支持HPC应用程序，从而解决了数据密集型和计算密集型生态系统之间现有的阻抗失配问题。 arXiv，NYSDS文件和Spark Summit East'17演讲（位于目录中）提供了基本原理以及一般描述： ，arXiv：1806.01110，2018年5月16日 ，NYSDS，纽约，2017年8月7日至9日 ，Spark Summit East，波士顿，2017年2月7日至9日 概念演示 在概念演示（位于目录中）的上下文中说明了Spark-MPI方法，该演示在Spark worker上运行MPI Allreduce方法。 先决条件 带有Python 3.5的 （注意：Spark 2.1不支持Python 3.6） install anaconda conda install libgcc download spark c
【文件预览】：
spark-mpi-master
----src()
--------hydra()
--------pmix()
--------CMakeLists.txt(89B)
--------gforker()
----doc()
--------nysds16-talk.pdf(2.12MB)
--------spark17-talk.pdf(1020KB)
--------nysds16-paper.pdf(969KB)
--------nysds17-paper.pdf(1.15MB)
--------nysds17-talk.pdf(1.73MB)
----examples()
--------pmixsrv()
--------spark-mpi()
--------spark()
--------mpi()
--------CMakeLists.txt(113B)
----README.md(2KB)
----cmake()
--------Modules()
----include()
--------orte()
--------CMakeLists.txt(74B)
----CMakeLists.txt(3KB)