文件名称:Spark2.0新特性
文件大小:259KB
文件格式:DOCX
更新时间:2022-01-08 09:05:43
spark spark2.X
* 通过whole-stage code generation(全流程代码生成)技术将spark sql和dataset的性能提升2~10倍 * 通过vectorization(向量化)技术提升parquet文件的扫描吞吐量 * 提升orc文件的读写性能 * 提升catalyst查询优化器的性能 * 通过native实现方式提升窗口函数的性能 * 对某些数据源进行自动文件合并