sparksql性能调优

【文件属性】：

文件名称：sparksql性能调优

文件大小：5.61MB

文件格式：DOCX

更新时间：2022-05-26 11:11:25

sparks 大数据 spark ssql

Spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 在进行大量小SQL的压测过程中发现，有大量的activejob在spark ui上一直处于pending状态，且永远不结束