自定义RDD-从HDFS读取数据代码.zip

时间:2023-04-09 03:51:55
【文件属性】:

文件名称:自定义RDD-从HDFS读取数据代码.zip

文件大小:4KB

文件格式:ZIP

更新时间:2023-04-09 03:51:55

自定义RDD

Spark自定义RDD从HDFS读取数据,实现和sc.textFile相同功能,代码测试通过,可以根据需求避免数据源数据倾斜


【文件预览】:
TestMyIterator.scala
CustomeRDDHDFS.scala
CustomeRDDHDFSTest.scala
MyIterator.scala

网友评论