文件名称:spark-jetty-server:Apache Spark 的食谱和示例
文件大小:17KB
文件格式:ZIP
更新时间:2024-07-19 14:57:46
Scala
Spark 码头服务器
这是一个简单的示例,演示如何在以纱线客户端模式运行的 Jetty Web 服务器中嵌入SparkContext 。 这被证明是非常重要的,因为了解 Spark 类路径是如何构建的对于完成这项工作是非常必要的。 到目前为止,这仅使用 Jetty maven 插件进行了测试,但它应该很容易转换为实际的码头实例。
该项目依赖于安装和配置的 YARN。 Spark 也需要安装和配置。 您还需要为这些应用程序设置适当的环境变量: SPARK_HOME和HADOOP_HOME (或HADOOP_PREFIX )。
构建和运行
默认构建适用于 Spark 1.2.0 和 Hadoop 2.4.0,但版本是通过 maven 属性提供的。 要使用不同的 Spark 版本,请将-Dspark.version=
【文件预览】:
spark-jetty-server-master
----pom.xml(7KB)
----.gitignore(68B)
----README.md(2KB)
----services()
--------pom.xml(2KB)
--------src()
----war()
--------pom.xml(3KB)
--------src()