文件名称:spark-optimization:Rock with Scala的Rock the JVM Spark Optimization官方库
文件大小:1.05MB
文件格式:ZIP
更新时间:2024-05-29 10:48:28
Scala
Rock with Scala的Rock the JVM Spark Optimization官方库 由 该存储库包含我们在课程期间编写的代码。 除非明确提及,否则此存储库中的代码就是在相机上捕获的代码。 安装和设置 安装 安装 克隆仓库或以zip格式下载 与IntelliJ一起作为SBT项目打开 当您打开项目时,IDE将注意下载并应用适当的库依赖项。 要设置我们将在本课程中使用的Docker化Spark集群,请执行以下操作: 打开一个终端并导航到spark-cluster 运行build-images.sh (如果没有bash终端,只需打开文件并逐行运行每一行) 运行docker-compose up 为了与Spark集群进行交互, spark-cluster文件夹中的文件夹data和apps分别安装在Docker容器的/opt/spark-data和/opt/spark-
【文件预览】:
spark-optimization-master
----docker-clean.sh(41B)
----spark-cluster()
--------build-images.sh(242B)
--------docker()
--------docker-compose.yml(626B)
--------env()
--------README.md(8KB)
----src()
--------META-INF()
--------main()
----build.sbt(635B)
----.gitignore(4KB)
----project()
--------build.properties(20B)
----README.md(3KB)