hive分桶管理
分桶：按照用户创建表时指定的分桶字段进行hash散列多个文件1.hive分桶的原理跟MR中的HashPartitioner的原理一模一样 MR中：按照key的hash值去模除以reductTask的个数 Hive中：按照分桶字段的hash值去模除以分桶的个数2.hi...
用DataGrip连接hive时报错：User: root is not allowed to impersonate plck5，解决方法
你可以尝试关闭主机校验 修改hive安装目录下conf/hive-site.xml,将hive.server2.enable.doAs设置成false <property> <name>hive.server2.enable.doAs</name> ...
hive之group by详解
有部分是转自 https://blog.csdn.net/lzm1340458776/article/details/43231707hive distribute by 和group by 的区别：group by是对检索结果的保留行进行单纯分组，一般总爱和聚合函数一块用例如AVG（），COUNT...
hive内部表、外部表、分区表、视图
1、Table 内部表 1).与数据库中的Table在概念上是类似的 2).每一个Table在Hive中都有一个相应的目录存储数据 3).所有的Table数据（不包括 External Table） 都保存在这个目录中 4).删除表时，元数据与数据都会被删除 5).建表...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(meFAILED: Execution Error, return code 1 from org.ap...
在Hive中做修复分区时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
Hive做分区修复出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask可能是在创建分区时未添加数据模拟分区修复第一步 选择一个分区路径（与hive建表的路径相同）第二步手动在hadoo...
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version
在初始化hive 报错 详细的报错信息 如下[[email protected] conf]# schematool -dbType mysql -initSchemaMetastore connection URL: jdbc:mysql://localhost:3306/hiveMet...
Hive之配置使用snappy压缩
https://zhuanlan.zhihu.com/p/103740807https://blog.csdn.net/xsdxs/article/details/53152599 为什么要压缩 在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少...
Sqoop导入数据到HDFS\HIVE报错 Hive exited with status 1
报错信息 ：ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1原因1：mysql中的hive元数据编码格式是UTF8导致的，...
HIve数据仓库应用及搭建
1、Hive是什么 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询功能。 通俗讲,其实HIVE就是一个SQL解析引擎，它将SQL语句转译成M/R JOB然后在Hadoop执行，来达到快速开发的目的。拨开HIVE的神秘面纱之后...
presto单机版和集群版-介绍+配置以及操作(presto和hive的对+java连接presto,)
为什么要使用presto不便之处Hadoop:存储和计算(mr);mr编程太麻烦Hive:使用sql语句,大大的简化了mr;hive将用户写的sql语句转换成mr代码,递给hadoop缺点:动不动起mr,耗时比较长不建议更新和删除;Hbase:强烈建议更新和删除;查询特别快,(CRUD);hbase...
Ambari—Hive配置HA（四）
1、Hive4.1 Hive MetastoreHive Metastore HA解决方案旨在处理Metastore服务失败。每当部署的Metastore服务关闭时，Metastore服务在相当长的时间内都会保持不可用状态，直到恢复服务为止。为避免此类停机，在HA模式下部署Metastore服务。H...
Hive lateral view ,get_json_object,json_tuple 用法
【Hive】解析json（get_json_object） https://blog.csdn.net/qq_34105362/article/details/80454697lateral view：如果指定字段名则需要把lateral view查询出的列写到select中，才能在结果中出现；如果...
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions報錯
报错yarn休眠，解决方法：稍微等会，就会反应过来WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execu...
kettle 从hive中读取数据并写入MongoDB
kettle 从hive中读取数据并写入MongoDB有两种方法1.方法一，流程图 ：2. 下面分析每个流程的具体做法：2.1 查询数据库中的内容，由于后面想要单独的字段date作为索引,所以直接在查询表的时候增加一个字段就可以。在该步骤中要确保数据库能够连上。 2.2 json输出（注意箭头指向的...
Hive SQL 使用不了union all : SemanticException Cartesian products are disabled for safety reasons
报错信息：SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: SemanticException Cartesian products are disabled for safety reasons. If you kno...
Tableau 基础 | tableau连接hive
本文介绍使用tableau连接hive做一些大数据的分析。 软件环境mac sierratableau10.3 hive(集群使用的是阿里云的E-MapResuce)下载安装ODBC打开ODBC官网下载链接，选择相应操作系统对应的版本，本文下载的是mac版本的odbc。下载完成后，和一般软件一样点击...
Linux端安装hive及其配置
Linux端安装hive及其配置文章目录Linux端安装hive及其配置前提：参考文章：一、安装二、配置管理三、为Hive创建HDFS目录四、运行前提：在安装Hive之前，要求先：（或者更高版本的都可以）安装JDK 7安装Hadoop-2.2.0安装MySQL 5.6.x关闭防火墙，然后启动集群/各...
hive创建表时报错：failed on connection exception: java.net.ConnectException: Connection refused
hive创建表时报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectExc...
使用DataGrip连接Hive
在使用这个工具的时候，遇到了各种坑，写下来，防止后面忘记。 1、首先你的看一下你的Hive是什么版本，具体操作是到你的Hive安装目录下，然后进入lib文件夹，看到里面的hive的jar包就可以看到了： 2、打开DataGrip软件，创建一个新链接：这里面的一些参数如下：Driver files：...