spark-jetty-server:Apache Spark 的食谱和示例

时间:2024-07-19 14:57:46
【文件属性】:

文件名称:spark-jetty-server:Apache Spark 的食谱和示例

文件大小:17KB

文件格式:ZIP

更新时间:2024-07-19 14:57:46

Scala

Spark 码头服务器 这是一个简单的示例,演示如何在以纱线客户端模式运行的 Jetty Web 服务器中嵌入SparkContext 。 这被证明是非常重要的,因为了解 Spark 类路径是如何构建的对于完成这项工作是非常必要的。 到目前为止,这仅使用 Jetty maven 插件进行了测试,但它应该很容易转换为实际的码头实例。 该项目依赖于安装和配置的 YARN。 Spark 也需要安装和配置。 您还需要为这些应用程序设置适当的环境变量: SPARK_HOME和HADOOP_HOME (或HADOOP_PREFIX )。 构建和运行 默认构建适用于 Spark 1.2.0 和 Hadoop 2.4.0,但版本是通过 maven 属性提供的。 要使用不同的 Spark 版本,请将-Dspark.version=添加到 maven 命令。 要使用不同的 Hadoo


【文件预览】:
spark-jetty-server-master
----pom.xml(7KB)
----.gitignore(68B)
----README.md(2KB)
----services()
--------pom.xml(2KB)
--------src()
----war()
--------pom.xml(3KB)
--------src()

网友评论