文件名称：Spark 基础.docx
文件大小：1.3MB
文件格式：DOCX
更新时间：2021-02-05 08:43:07
Spark 基础 大数据
4.2.2. 在spark shell中编写WordCount程序 1.首先启动hdfs 2.向hdfs上传一个文件到hdfs://node1.itcast.cn:9000/words.txt 3.在spark shell中用scala语言编写spark程序 sc.textFile("hdfs://node1.itcast.cn:9000/words.txt").flatMap(_.split(" ")) .map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://node1.itcast.cn:9000/out")