015 在Spark中关于groupByKey与reduceByKey的区别

时间:2022-06-03 03:31:20

1.groupByKey的源代码

  015 在Spark中关于groupByKey与reduceByKey的区别

2.groupByKey的使用缺点

  不使用groupByKey的主要原因:在大规模的数据下,数据分布不均匀的情况下,可能导致OOM

3.reduceByKey的源代码

  015 在Spark中关于groupByKey与reduceByKey的区别

4.使用reduceByKey的youdian  

  使用reduceByKey函数的主要原因是:reduceByKey中存在combiner