文件名称:自定义RDD-从HDFS读取数据代码.zip
文件大小:4KB
文件格式:ZIP
更新时间:2023-04-09 03:51:55
自定义RDD
Spark自定义RDD从HDFS读取数据,实现和sc.textFile相同功能,代码测试通过,可以根据需求避免数据源数据倾斜
【文件预览】:
TestMyIterator.scala
CustomeRDDHDFS.scala
CustomeRDDHDFSTest.scala
MyIterator.scala
文件名称:自定义RDD-从HDFS读取数据代码.zip
文件大小:4KB
文件格式:ZIP
更新时间:2023-04-09 03:51:55
自定义RDD
Spark自定义RDD从HDFS读取数据,实现和sc.textFile相同功能,代码测试通过,可以根据需求避免数据源数据倾斜