常用transformation介绍-spark介绍 spark入门

【文件属性】：

文件名称：常用transformation介绍-spark介绍 spark入门

文件大小：2.37MB

文件格式：PPT

更新时间：2024-05-16 04:02:56

spark学习 spark介绍 大数据ppt spark ppt

常用transformation介绍 操作 介绍 map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。 flatMap 与map类似，但是对每个元素都可以返回一个或多个新元素。 gropuByKey 根据key进行分组，每个key对应一个Iterable reduceByKey 对每个key对应的value进行reduce操作。 sortByKey 对每个key对应的value进行排序操作。 join 对两个包含对的RDD进行join操作，每个key join上的pair，都会传入自定义函数进行处理。 cogroup 同join，但是是每个key对应的Iterable都会传入自定义函数进行处理。