文件名称：zio-spark:星火ZIO
文件大小：28KB
文件格式：ZIP
更新时间：2024-04-01 22:32:54
Scala
齐奥·斯帕克 Spark-ZIO允许使用ZIO的环境访问Spark。 为什么 ？ 使用这种库技术有两个主要原因： 使更好的代码，纯FP，更可组合，更易读（在某种程度上）并阻止implicit SparkSessions的传播。 改善一些表现。 关于演出 有通常的方法可以按照优先级提高Spark作业的性能： 少加入 较少的数据（=>活动位置，流式传输，...） 少udf / rdd 更好的配置 更好的资源分配<- zio-spark可以做的是在同一个SparkSession启动不同的SparkSession作业，从而允许使用更多的执行程序容量。 例如。 如果您有5名工人，而只有1名工人正在完成当前的工作，而您又等着再开始另一项工作，那不是最好的效率，最后也不是交货时间最好的效率。 在某些管道上，并发作业启动将管道速度提高了2到10倍。 这不是“更快”，而是总的交货时间（挂钟
【文件预览】：
zio-spark-master
----project()
--------build.properties(18B)
--------plugins.sbt(894B)
----.mergify.yml(253B)
----sbt(127B)
----.java-version(4B)
----src()
--------test()
--------main()
----.circleci()
--------hasNotChanged(616B)
--------config.yml(3KB)
----.floo(56B)
----build.sbt(5KB)
----.flooignore(73B)
----README.md(7KB)
----.scalafix.conf(1KB)
----.gitignore(78B)
----.scalafmt.conf(350B)