Spark从hdfs下读取txt文件并保存到hdfs目录下

多说无益，先参考代码：

object File {
//文件读取
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName(“File”).setMaster(“spark://IP地址:7077”)
val sc = new SparkContext(conf);
// 读取hdfs数据
val textFileRdd = sc.textFile(“hdfs://IP地址:9000/demo1/demo_vertice.txt”)
val fRdd = textFileRdd.flatMap { .split(" ") }
val mrdd = fRdd.map { (, 1) }
val rbkrdd = mrdd.reduceByKey(+)
// 写入数据到hdfs系统
rbkrdd.saveAsTextFile(“hdfs://IP地址/demo2”)
}
}

将编译好的程序打成 jar 包，Build——Build Artifacts——build

这样以后该程序就以jar包的形式存到本地文件夹内了，我用的是rz命令将此jar包上传到服务器上

最后spark-submit --master spark /home/wangyang/FirstSpark.jar 提交任务命令

切记：代码中存入hdfs文件时，目录demo2无需手动创建，代码运行后目录自动生成。

参考链接：https://blog.csdn.net/weixin_43127762/article/details/89066246 或 参考上篇文章