Spark学习---统计文件单词出现次数

时间:2020-06-01 05:12:45
【文件属性】:
文件名称:Spark学习---统计文件单词出现次数
文件大小:13KB
文件格式:ZIP
更新时间:2020-06-01 05:12:45
Spark RDD 单词次数 java 上一节我们简单介绍了RDD中转化和执行操作的用法,本节将通过一个具体的示例来加深对RDD的认识。 一.需求 统计本地文件中单词出现次数 二.操作流程 1.读取外部文件创建JavaRDD; 2.通过flatMap转化操作切分字符串,获取单词新JavaRDD; 3.通过mapToPair,以key为单词,value统一为1的键值JavaPairRDD; 4.通过reduceByKey,累计叠加每个key,统计单词出现次数; 三.代码实现 四.下载代码
【文件预览】:
sparkLearning
----src()
--------main()
--------test()
----.classpath(955B)
----.settings()
--------org.eclipse.m2e.core.prefs(90B)
--------org.eclipse.core.resources.prefs(119B)
--------org.eclipse.jdt.core.prefs(243B)
----pom.xml(3KB)
----target()
--------classes()
--------test-classes()
----.project(565B)

网友评论