spark-kernel:使用 Scala 实现 IPython 内核 (3.0) 并为 Apache Spark 提供特定支持

时间:2024-07-27 06:37:51
【文件属性】:

文件名称:spark-kernel:使用 Scala 实现 IPython 内核 (3.0) 并为 Apache Spark 提供特定支持

文件大小:3.79MB

文件格式:ZIP

更新时间:2024-07-27 06:37:51

Scala

火花内核 一个简单的 Scala 应用程序,用于连接到 Spark 集群并提供通用的、健壮的 API 来利用各种 Spark API。 此外,该项目旨在为 IPython 等场景提供发送打包 jar(标准作业)和代码片段(具有修订功能)的能力,以进行动态更新。 最后,内核编写了未来计划,以允许多个应用程序连接到单个内核以利用相同的 Spark 上下文。 Vagrant 开发环境 提供了一个 Vagrantfile 来轻松设置开发环境。 你需要安装和 。 一旦安装了 Vagrant 和 Virtualbox,就可以通过运行vagrant up来创建环境。 当 VM 运行时,您可以通过执行以下命令获取源代码: vagrant ssh cd /src/spark-kernel 从源头构建 要从源代码构建内核,您需要在您的机器上安装 。 一旦它在您的路径上,您就可以通过从 Spark Kern


网友评论