文件名称:Spark实验报告 RDD编程实验
文件大小:6MB
文件格式:DOC
更新时间:2022-09-22 20:46:59
spark RDD
实验三 RDD编程初级实践 1 实验目的 (1)熟悉Spark的RDD基本操作及键值对操作 (2)熟悉使用RDD编程解决实际具体问题的方法 2 实验平台 Ubantu16.04、Spark-2.1.0 3 实验要求 (1)掌握连接操作 (2)掌握spark-shell交互式编程 (3)编写独立应用程序实现数据去重 (4)编写独立用用程序实现求平均值问题 4 实验内容和步骤(操作结果要附图) 一、连接操作 二、Spark-shell交互编程 三、数据去重 四、求平均值 5 实验总结 通过本次实验,我了解了如何使用RDD编程解决实际问题,并熟悉RDD的基本操作以及键值对操作和用法。注意在求平均值问题中,要注意avg.scala