文件名称：环境准备-ubuntu18.04.2下安装 rtx2080 nvidia显卡驱动的方法
文件大小：1.59MB
文件格式：PDF
更新时间：2024-07-15 23:12:29
电商 用户画像 大数据
6.1 环境准备 1、搭建 hadoop 集群（见文档） 2、安装 hive构建数据仓库（见文档） 3、安装 spark集群（见文档） 4、sparksql 整合 hive 6.2 sparksql整合 hive Spark SQL主要目的是使得用户可以在 Spark上使用 SQL，其数据 源既可以是 RDD，也可以是外部的数据源（比如文本、Hive、Json 等）。 Spark SQL的其中一个分支就是 Spark on Hive，也就是使用 Hive中 HQL 的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅 将物理执行计划从 MR 作业替换成了 Spark 作业。SparkSql 整合 hive 就是获取 hive表中的元数据信息，然后通过 SparkSql 来操作数据。 整合步骤： 1 需要将 hive-site.xml 文件拷贝到 Spark的 conf 目录下，这样就 可以通过这个配置文件找到 Hive的元数据以及数据存放位置。 2 如果 Hive的元数据存放在Mysql中，我们还需要准备好Mysql 相关驱动，比如：mysql-connector-java-5.1.35.jar