文件名称：spark-jobserver-examples:使用 Ooyala 的 Spark 作业服务器进行实验
文件大小：6KB
文件格式：ZIP
更新时间：2024-07-26 19:37:48
Scala
Spark 作业服务器示例 使用和最近外包的。 Spark 作业服务器的原因： 允许您在作业之间共享 Spark 上下文 (!!)； 提供 RESTful API 来管理作业、上下文和 jar。 目标 让我们找出前 5 名 Stack Overflow 用户（纯粹是声誉！）。 在这个例子中，有 3 个spark.jobserver.SparkJob实现：他们的共同目标是从users RDD 中获取前 5 个用户，但他们有不同的行为： GetOrCreateUsers：尝试获取 RDD或创建它，如果它不存在； GetOrFailUsers：尝试获取 RDD或抛出异常，如果它不存在； GetAndUpdateUsers：尝试获取RDD并将其更新为仅包含最近100天内注册的用户，然后返回前5名用户； 如果 RDD 不存在，则抛出异常。 先决条件 下载 * 的用
【文件预览】：
spark-jobserver-examples-master
----src()
--------main()
----build.sbt(816B)
----.gitignore(66B)
----README.md(4KB)