Hive sql
- 1 背景
- 2 Hive sql 转换逻辑
- 3 Hive sql的执行顺序
- 4 Hive sql 函数
- 5 hive sql 常用调优
1 背景
hive 是数据仓库的一种应用工具，将数据写入到hdfs中，为了更方便人员操作，可以通过sql来更简洁的完成任务，不必再编写mapreduce程序。
2 Hive sql 转换逻辑
hive 底层会把sql转换成mapreduce程序进行执行
1 hive的编译器会把sql的语法解析转换成抽象语法树
2 抽象语法树结果复杂，不方便直接翻译为mapreduce程序 所以会先转换成查询块
3 把查询块转换成逻辑查询计划，里面包含了逻辑操作符。
4 重写逻辑查询计划，进行优化 转换成mapreduce任务。
5 对mapreudce进行优化 生成最终的mapreduce任务
6 由hive的驱动模块的执行器 对mapreduce进行执行。
3 Hive sql的执行顺序
select ··· from ··· where ··· group by ··· having ···· order by ··
执行顺序
from··· where ··· select ··· group by ··· having ··· order by ···
4 Hive sql 函数
列转行 union 取单列合并，posexplode
排序 row_number() over()
数学函数
集合函数
类型转换函数
日期函数
条件函数
字符串函数
窗口函数
聚合函数
自定义函数
函数查询地址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
5 hive sql 常用调优
列剪裁，分区剪裁： 尽量避免使用* 仅拿需要的列 尽量使用分区过滤
适情况使用count： count会由一个reduce task 来完成 如果量大的话，可能会影响效率 尽量使用group by 在进行count
多表关联：避免笛卡尔积，小表在前大表在后，尽早过滤
避免数据倾斜： 选择分布均匀的key 避免向某个key倾斜
union all： 尽量使用union all union组合后排序去重 union all 直接扫描全表 效率高