spark 例子count(distinct 字段)
例子描述:
有个网站访问日志,有4个字段:(用户id,用户名,访问次数,访问网站)
需要统计:
1.用户的访问总次数去重
2.用户一共访问了多少种不同的网站
这里用sql很好写
select id,name,count(distinct url) from table group by id,name
其实这个题目是继官方和各种地方讲解聚合函数(aggregate)的第二个例子,第一个例子是使用aggregate来求平均数。
我们先用简易版来做一遍,后续我更新一份聚合函数版
原始数据:
id1,user1,2,http://www.baidu.com
id1,user1,2,http://www.baidu.com
id1,user1,3,http://www.baidu.com
id1,user1,100,http://www.baidu.com
id2,user2,2,http://www.baidu.com
id2,user2,1,http://www.baidu.com
id2,user2,50,http://www.baidu.com
id2,user2,2,http://www.sina.com
结果数据:
((id1,user1),4,1)
((id2,user2),4,2)
代码片段:
val sparkConf = new SparkConf().setAppName("DisFie").setMaster("local")
val sc = new SparkContext(sparkConf)
val source = Source.fromFile("C:\\10.txt").getLines.toArray
val RDD0 = sc.parallelize(source)
RDD0
.map {
lines =>
val line = lines.split(",")
((line(0), line(1)), (1, line(3)))
}
.groupByKey()
.map {
case (x, y) =>
val(n,url) = y.unzip
(x,n.size,url.toSet.size)
}
.foreach(println)