【文件属性】:
文件名称:zio-spark:星火ZIO
文件大小:28KB
文件格式:ZIP
更新时间:2021-03-13 04:46:14
Scala
齐奥·斯帕克
Spark-ZIO允许使用ZIO的环境访问Spark。
为什么 ?
使用这种库技术有两个主要原因:
使更好的代码,纯FP,更可组合,更易读(在某种程度上)并阻止implicit SparkSessions的传播。
改善一些表现。
关于演出
有通常的方法可以按照优先级提高Spark作业的性能:
少加入
较少的数据(=>活动位置,流式传输,...)
少udf / rdd
更好的配置
更好的资源分配<-
zio-spark可以做的是在同一个SparkSession启动不同的SparkSession作业,从而允许使用更多的执行程序容量。 例如。 如果您有5名工人,而只有1名工人正在完成当前的工作,而您又等着再开始另一项工作,那不是最好的效率,最后也不是交货时间最好的效率。
在某些管道上,并发作业启动将管道速度提高了2到10倍。 这不是“更快”,而是总的交货时间(挂钟
【文件预览】:
zio-spark-master
----project()
--------build.properties(18B)
--------plugins.sbt(894B)
----.mergify.yml(253B)
----sbt(127B)
----.java-version(4B)
----src()
--------test()
--------main()
----.circleci()
--------hasNotChanged(616B)
--------config.yml(3KB)
----.floo(56B)
----build.sbt(5KB)
----.flooignore(73B)
----README.md(7KB)
----.scalafix.conf(1KB)
----.gitignore(78B)
----.scalafmt.conf(350B)