学习进度-11 RDD 编程初级实践

时间:2024-12-20 00:06:44

一、

请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt,该数据集包含
了某大学计算机系的成绩,数据格式如下所示:
Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
……
请根据给定的实验数据,在 spark-shell 中通过编程来计算以下内容:

1.先运行spark,进入shell界面

学习进度-11  RDD 编程初级实践

(1)该系总共有多少学生

学习进度-11  RDD 编程初级实践

(2)该系共开设来多少门课程

学习进度-11  RDD 编程初级实践

(3)Tom 同学的总成绩平均分是多少

学习进度-11  RDD 编程初级实践

(4)求每名同学的选修的课程门数

学习进度-11  RDD 编程初级实践

共265行,不一一粘贴了

(5)该系 DataBase 课程共有多少人选修

学习进度-11  RDD 编程初级实践

(6)各门课程的平均分是多少

学习进度-11  RDD 编程初级实践

(7)使用累加器计算共有多少人选了 DataBase 这门课

学习进度-11  RDD 编程初级实践