spark-scala-hdfs-docker-example:使用Scala的Spark将文件写入HDFS,并使用Docker“ scale”自动添加新的Spark工人

时间:2021-02-19 20:15:23
【文件属性】:
文件名称:spark-scala-hdfs-docker-example:使用Scala的Spark将文件写入HDFS,并使用Docker“ scale”自动添加新的Spark工人
文件大小:246KB
文件格式:ZIP
更新时间:2021-02-19 20:15:23
docker scala spark scale example spark-scala-hdfs-docker-example 使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人,从而将文件读/写到HDFS 默认值: 工作区目录位于/ app Jar文件位于/app/app.jar。 主类是app.Main 如果要在Sparky,Scala,远程Spark Master的示例中但在Jupyter Notebook环境中,请查看 用法 创建docker-compose.yml version : ' 3.3 ' services : # SPARK EXAMPLE APPLICATION spark-example : build : . image : flaviostutz/spark-sample environment : - SPARK_MASTER
【文件预览】:
spark-scala-hdfs-docker-example-master
----.gitignore(8B)
----Dockerfile(352B)
----startup.sh(102B)
----app()
--------project()
--------src()
--------people.csv(570KB)
--------build.sbt(1KB)
----LICENSE(1KB)
----core-site.xml(116B)
----docker-compose.yml(4KB)
----README.md(3KB)

网友评论