【文件属性】:
文件名称:spark-scala-hdfs-docker-example:使用Scala的Spark将文件写入HDFS,并使用Docker“ scale”自动添加新的Spark工人
文件大小:246KB
文件格式:ZIP
更新时间:2021-02-19 20:15:23
docker scala spark scale example
spark-scala-hdfs-docker-example
使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人,从而将文件读/写到HDFS
默认值:
工作区目录位于/ app
Jar文件位于/app/app.jar。
主类是app.Main
如果要在Sparky,Scala,远程Spark Master的示例中但在Jupyter Notebook环境中,请查看
用法
创建docker-compose.yml
version : ' 3.3 '
services :
# SPARK EXAMPLE APPLICATION
spark-example :
build : .
image : flaviostutz/spark-sample
environment :
- SPARK_MASTER
【文件预览】:
spark-scala-hdfs-docker-example-master
----.gitignore(8B)
----Dockerfile(352B)
----startup.sh(102B)
----app()
--------project()
--------src()
--------people.csv(570KB)
--------build.sbt(1KB)
----LICENSE(1KB)
----core-site.xml(116B)
----docker-compose.yml(4KB)
----README.md(3KB)