Spark2.0新特性

时间:2022-01-08 09:05:43
【文件属性】:

文件名称:Spark2.0新特性

文件大小:259KB

文件格式:DOCX

更新时间:2022-01-08 09:05:43

spark spark2.X

* 通过whole-stage code generation(全流程代码生成)技术将spark sql和dataset的性能提升2~10倍 * 通过vectorization(向量化)技术提升parquet文件的扫描吞吐量 * 提升orc文件的读写性能 * 提升catalyst查询优化器的性能 * 通过native实现方式提升窗口函数的性能 * 对某些数据源进行自动文件合并


网友评论