文件名称：spark-east-2015:Spark East 峰会的介绍和相关材料 (http
文件大小：6.71MB
文件格式：ZIP
更新时间：2024-07-07 12:29:22
HTML
使用 Spark 进行交互式科学图像分析和分析 Spark East 峰会的演示文稿和相关材料 ( )。 可以在这里看到 抽象的 许多重要的科学问题，从泡沫结构的微观力学行为到细胞中病毒感染的过程，不仅需要高空间分辨率，还需要时间分辨率。 检测器的改进使许多这些实验的实现成为可能，并因此产生了大量丰富的图像数据。 在瑞士光源的 TOMCAT 光束线上，峰值采集率达到 8GB/s [1]，并且经常累积到每天 10 或 100 TB。 虽然目视检查非常宝贵，但详细的定量分析对于总结和比较样本以及执行假设检验至关重要。 更重要的是能够检测到隐藏在海量数据深处的异常事件和意外结构。 现有工具在单台计算机之外的扩展性很差，并使这种类型的交互式探索非常困难和耗时。 我们开发了一个基于 Apache Spark 和 [2] 中提出的弹性分布式数据集的可扩展框架，用于并行、分布式、实时图像处理和定量分