文件名称：sbt-spark-ec2-plugin:用于提交 Spark 作业的 Sbt 插件
文件大小：1.04MB
文件格式：ZIP
更新时间：2024-07-03 06:41:06
Scala
描述 用于将 Spark 作业提交到 Amazon Elastic Map Reduce/EC2 Spark 集群的 Sbt 插件。 它允许您按需创建集群并将您的任务从您的计算机提交到远程 EC2 集群。 与 spark-submit 不同，它允许您部署到远程集群。 为此，它使用 Amazon EMR 设置集群，并将作业作为自定义 EMR 步骤提交。 警告：此库处于早期阶段。 不要抱着任何稳定性的期望来使用它，这里只是一个周末的实验，需要更多的工作才能达到可以用作其他任何东西的基础的程度。 用法 sparkStart创建一个新的 EMR 集群，如果已经存在一个集群名称相同的集群，则返回现有集群的信息。 sparkStop停止 EMR 集群，直到没有更多的作业在运行 sparkShutdown立即关闭集群 sparkSubmitJob这将用作业组装一个 jar 并将作业提交给 EMR，在
【文件预览】：
sbt-spark-ec2-plugin-master
----project()
--------build.properties(19B)
--------plugins.sbt(284B)
----.travis-ci-bintray-credentials.sh(272B)
----src()
--------main()
----.travis.yml(844B)
----build.sbt(921B)
----example-spark-ec2()
--------project()
--------src()
--------build.sbt(2KB)
--------README.md(233B)
--------spark.conf(514B)
----version.sbt(32B)
----README.md(2KB)
----docs()
--------diagram.png(24KB)
--------sbt-spark-ec2.gif(1.15MB)
----.gitignore(141B)