Scala进阶之路-统计商家id的标签数以及TopN示例案例分析

　　　　　　　　　Scala进阶之路-统计商家id的标签数以及TopN示例案例分析

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.项目需求

　　将“temptags.txt”中的数据进行分析，统计出商家id的评论标签数量，由于博客园无法上传大文件的文本，因此我把该文本的内容放在博客园的另一个链接了（需要的戳我），如果网页打不开的话也就可以去百度云盘里下载副本，链接：https://pan.baidu.com/s/1daRiwOVe6ohn42fTv6ysJg 密码：h6er。

　　我之前使用Hadoop的MapReduce实现过，详情请参考:https://www.cnblogs.com/yinzhengjie/p/9332761.html,但是实在过于繁琐，在学习Scala的时候发现它实现起来更简单。

二.代码实现

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Scala%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 EMAIL:[e-mail]
 */

 package cn.org.yinzhengjie.scala

 /**
   * 单例模式
   */
 object TaggenDemo {
     //从json中抽取出所有评论，形成list返回
     def extractTags(json:String) :List[String] = {
         var list:List[String] = Nil
         /**
           * 注意这两个判断条件 :json != null && !json.equals("")
           *     1>.json != null:
           *         首先先说说null，这个null不管是在java还是Scala中它可以赋值给任意的引用数据类型。在调用toString方法时，都会抛
           *     空指针异常，即“java.lang.NullPointerException”。
           *     2>.!json.equals("")
           *         接下来我们说说空字符串(""),这个空字符串("")它的长度为多少呢？很显然空字符串的长度为“0”,那么问题来了，它和null
           *     有啥区别呢？打个简单的比方哈，在Java代码中,"String[] arr1 = null;"与"String[] arr2 = new String[0];"的区别你知道吗？
           *     估计看到这两句话很多小伙伴已经不需要我多做解释了吧，没错，变量arr1是没有被初始化的，而arr2是被初始化且其长度为0.
           */
         if(json != null && !json.equals("")){
             import com.alibaba.fastjson.JSON
             //构造json对象
             val obj = JSON.parseObject(json)
             //提取数组属性
             val arr = obj.getJSONArray("extInfoList")
             if(arr != null && arr.size() > 0){
                 //提取数组一个json对象
                 val first = arr.getJSONObject(0)
                 //标签集合
                 val tags = first.getJSONArray("values")
                 if(tags != null && tags.size() > 0){
                     for(i <- 0 until tags.size()){
                         list = tags.getString(i) :: list
                     }
                 }
             }
         }
         list
     }
     def main(args: Array[String]): Unit = {
         /**
           * 读取文件
           */
         import scala.io.Source
         val f = Source.fromFile("D:\\BigData\\JavaSE\\yinzhengjieData\\temptags.txt")
         val lines = f.getLines().toList
         /**
           * 切割每一行,提取busid ->tags
           */
         val var2 = lines.map(line=>{
             val arr = line.split("\t")
             val busid = arr(0)
             val json = arr(1)
             (busid , extractTags(json))
         })
         /**
           * 过滤集合的空评论
           */
         val var3 = var2.filter(!_._2.isEmpty)
         /**
           * 压扁var3 , 形成 : (busid,tag)
           */
         val var4 = var3.flatMap(t=>{
             var l:List[(String,String)] = Nil
             for(tag <- t._2){
                 l = (t._1 , tag) :: l
             }
             l
         })
         /**
           * 分组统计每个商家每条评论的数量,Map
           */
         var var5 = var4.groupBy(t=>t)
         /**
           * 统计每条评论个数，例如((75144086 , 环境优雅) , 22)
           */
         var var6 = var5.toList.map(t=>{
             (t._1._1, (t._1._2 ,t._2.size))
         })
         /**
           * 分组，将同一商家的所有评论聚在一起
           */
         var var7= var6.groupBy(t=>t._1)

         /**
           * mapValues方法只对value进行变换
           */
         var var8 = var7.mapValues(t=>{
             t.map(t=>t._2)
         })
         /**
           * 对每个商家的所有评论按照数量倒排序
           */
         var var9= var8.mapValues(t=>{
             t.sortBy(t=> -t._2 )
         })
         /**
           * 按照上架第一个标签的评论数进行排序
           */
         var var10 = var9.toList.sortBy(t=>{
             -t._2(0)._2
         })
         /**
           * 取出前10个元素，有两种方式，即take或者slice.是不是发现Scala中实现topN要比Java中的MapReduce要简单的多？
           */
         val res = var10.take(10)        //当然我们也可以用切片的方式取出该元素:  val res = var10.slice(0,10)

         /**
           * 打印我们得到的数据
           */
         for(e <- res){
             println(e)
         }
     }
 }

 /*
 以上代码执行结果如下:
 (75144086,List((8239,60), (服务热情,38), (8241,31), (效果赞,30), (环境优雅,22), (无办卡,22), (性价比高,21), (技师专业,21), (无推销,19), (价格实惠,18), (干净卫生,13), (体验好,12), (韩系风格,10), (美发师手艺好,3), (服务差,2), (美发效果好,1), (效果差,1)))
 (77287793,List((干净卫生,29), (音响效果好,26), (环境优雅,26), (价格实惠,25), (交通便利,25), (性价比高,19), (服务热情,18), (高大上,16), (停车方便,13), (体验好,13), (服务一般,1), (音响效果差,1), (朋友聚会,1), (服务差,1)))
 (74145782,List((服务热情,18), (味道赞,14), (干净卫生,13), (上菜快,13), (菜品不错,12), (分量足,11), (回头客,11), (环境优雅,11), (性价比高,6), (停车方便,5), (体验好,4), (不推荐,3), (服务差,2), (菜品差,2), (分量少,1), (6,1), (价格实惠,1), (体验差,1)))
 (85648235,List((味道赞,17), (服务热情,15), (干净卫生,13), (上菜快,12), (回头客,11), (性价比高,10), (体验好,9), (价格实惠,8), (环境优雅,8), (分量足,7), (情侣约会,1)))
 (83073343,List((干净卫生,17), (味道赞,16), (环境优雅,15), (菜品不错,11), (服务热情,11), (肉类好,9), (性价比高,8), (体验好,7), (分量足,7), (回头客,6), (价格实惠,4), (味道一般,1), (分量少,1), (5,1), (服务差,1), (上菜慢,1), (2,1)))
 (73607905,List((菜品不错,16), (干净卫生,15), (回头客,15), (味道赞,14), (服务热情,14), (分量足,13), (性价比高,11), (肉类好,11), (环境优雅,7), (体验好,5), (上菜快,5), (体验差,2), (羊蝎子,1), (价格实惠,1)))
 (73963176,List((味道赞,15), (价格实惠,12), (分量足,11), (菜品不错,10), (肉类好,7), (干净卫生,7), (服务热情,7), (环境优雅,6), (回头客,4), (性价比高,3), (价格高,1), (服务差,1), (味道一般,1)))
 (78824187,List((价格实惠,13), (回头客,11), (分量足,10), (环境优雅,8), (性价比高,8), (干净卫生,7), (上菜快,6), (2,6), (服务热情,5), (主食赞,5), (味道赞,4), (1,1), (3,1), (服务差,1)))
 (87994574,List((无推销,12), (价格实惠,8), (干净卫生,7), (服务热情,7), (效果赞,5), (无办卡,5), (环境优雅,4), (技师专业,3), (体验好,2), (没有异味,2), (韩系风格,1), (效果差,1)))
 (76893145,List((服务热情,10), (环境优雅,7), (高大上,5), (味道赞,5), (咖啡厅,5), (回头客,4), (温馨浪漫,3), (服务一般,2), (体验好,2), (味道一般,2), (饮品赞,1), (性价比高,1)))
  */