文件名称：电商用户画像环境搭建-ubuntu18.04.2下安装 rtx2080 nvidia显卡驱动的方法
文件大小：1.59MB
文件格式：PDF
更新时间：2024-07-15 23:12:28
电商 用户画像 大数据
六、 电商用户画像环境搭建 众所周知，Hive的执行任务是将 hql语句转化为MapReduce 来计算的，Hive 的整体解决方案很不错，但是从查询提交到结果 返回需要相当长的时间，查询耗时太长。这个主要原因就是由于 Hive原生是基于MapReduce的，那么如果我们不生成MapReduce Job，而是生成 Spark Job，就可以充分利用 Spark 的快速执行能 力来缩短 HiveHQL 的响应时间。 本项目采用 SparkSql 与 hive 进行整合，通过 SparkSql 读取 hive 中表的元数据，把 HiveHQL 底层采用 MapReduce 来处理任 务,导致性能慢的特点，改为更加强大的 Spark 引擎来进行相应的