可以写UDAF,但导jar包啥的挺麻烦的,我找了个简单方法,两个函数搞定。
需求是这样的,统计出同一用户在同一地点会去哪些商店,商店以':'隔开。
(第一列用户id,第二列商店id,第三列地区id,第四列日期)
spark-sql> select * from test; 1027765 4822 172 20151028 1027765 4822 172 20151026 881482 4822 172 20151129 1027765 4822 172 20151007 1027765 4822 172 20151011 1027765 4822 172 20151010 1027765 4822 172 20151023 1027765 4822 172 20151022 1027765 820 172 20151030 1027765 820 172 20151023 1027765 820 172 20151114 1027765 820 172 20151127 881482 6709 172 20151121 881482 7830 172 20151121 881482 43 172 20151027 Time taken: 0.259 seconds, Fetched 15 row(s)太简单了
spark-sql> select uid, lid, concat_ws(':',collect_set(mid)) as mids from test group by uid,lid; 881482 172 4822:6709:7830:43 1027765 172 4822:820 Time taken: 1.933 seconds, Fetched 2 row(s)但要注意collect_set(mid)中的mid字段类型必须是string类型,不是的话改一下就可以了。
alter table test change mid mid string;将mid字段的字段名改为mid,字段类型改为string类型。