文件名称：spark-window:Spark 窗口函数的实验
文件大小：856KB
文件格式：ZIP
更新时间：2024-06-25 07:18:20
Scala
火花窗 该项目旨在改进 Spark SQL 的窗口函数。 它目前正在进行中。 此实现需要 SPARK 1.4.0 提供的功能。 改进 与当前实现相比的优点是： 本机 Spark-SQL，当前实现仅依赖于 Hive UDAF。 新的实现使用 Spark SQL 聚合。 虽然仍然支持 Hive UDAF。 在运行案例（例如 BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW）和 UNBOUDED FOLLOWING 案例中，性能要好得多（10 倍）。 在单个窗口执行阶段处理所有帧规范的能力。 这一点改善了内存使用和处理。 许多暂存代码已从执行阶段移至“初始化”阶段。 增加优化机会。 AggregateEvaluation 样式优化可用于帧内处理。 钨也可能提供有趣的优化机会。 用法 准备好 SPARK 1.4.0 版本，并确保将 JARS 安装到本
【文件预览】：
spark-window-master
----project()
--------plugins.sbt(379B)
----src()
--------test()
--------main()
----LICENSE(11KB)
----build.sbt(1KB)
----README.md(8KB)
----.gitignore(406B)
----assembly.sbt(261B)