3 hql语法及自定义函数(含array、map讲解) + hive的java api

时间:2021-09-15 12:16:44

本博文的主要内容如下:

  .hive的详细官方手册

      .hive支持的数据类型

     .Hive Shell

  .Hive工程所需依赖的jar包 

  .hive自定义函数

  .分桶4

     .附PPT

hive的详细官方手册

http://hive.apache.org/

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

https://cwiki.apache.org/confluence/display/Hive/LanguageManual

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  标准的SQL,hive都支持。

这就是,为什么目前hive占有市场这么多,因为,太丰富了,当然,Spark那边的Spark SQL,也在不断地进步。

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  非常多,自行去研究,这里不多赘述。

将查询结果,写到本地文件或hdfs里的文件

//write to hdfs

insert overwrite local directory '/home/hadoop/hivetemp/test.txt' select * from tab_ip_part where part_flag='part1';    //路径可以是Linux本地的

insert overwrite directory '/hiveout.txt' select * from tab_ip_part where part_flag='part1';  //路径也可以是hdfs里的

这里,不演示

//array

create table tab_array(a array<int>,b array<string>)
row format delimited
fields terminated by '\t'
collection items terminated by ',';

示例数据

tobenbrone, laihama,woshishui     13866987898,13287654321
abc,iloveyou,itcast 13866987898,13287654321
select a[0] from tab_array;
select * from tab_array where array_contains(b,'word');
insert into table tab_array select array(0),array(name,ip) from tab_ext t;

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

//map

create table tab_map(name string,info map<string,string>)
row format delimited
fields terminated by '\t'
collection items terminated by ';'
map keys terminated by ':';

示例数据:

fengjie                         age:18;size:36A;addr:usa
furong age:28;size:39C;addr:beijing;weight:180KG
load data local inpath '/home/hadoop/hivetemp/tab_map.txt' overwrite into table tab_map;
insert into table tab_map select name,map('name',name,'ip',ip) from tab_ext;

  这里,不多赘述。

//struct

create table tab_struct(name string,info struct<age:int,tel:string,addr:string>)
row format delimited
fields terminated by '\t'
collection items terminated by ','
load data local inpath '/home/hadoop/hivetemp/tab_st.txt' overwrite into table tab_struct;
insert into table tab_struct select name,named_struct('age',id,'tel',name,'addr',country) from tab_ext;

  这里,不多赘述。

Hive Shell

//cli shell

hive -S -e 'select country,count(*) from tab_ext' > /home/hadoop/hivetemp/e.txt 

  有了这种执行机制,就使得我们可以利用脚本语言(bash shell,python)进行hql语句的批量执行

select * from tab_ext sort by id desc limit 5;

select a.ip,b.book from tab_ext a join tab_ip_book b on(a.name=b.name);

  思考一个问题:就说,一个业务场景里面,写sql语句去分析作统计,往往不是一句sql语句能搞定的,sql对一些字段或函数或自定义函数处理会得出一些中间结果,中间结果存在中间表里,然后,才可进入下一步的处理。可能,你需写好多条sql语句,按照批量,流程去走,以前在关系型数据库里,是按照流程处理过程做的。

  hive里,不支持存储过程的语法,那若有一个模型,这个模型里有十几个sql语句,一条一条写很麻烦,那么,hive在想,能不能组织成批量去运行呢?则借外部的工作(如写一个shell脚本,执行十几个sql语句)

  可以参照

Sqoop 脚本开发规范(实例手把手带你写sqoop export和sqoop import)

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

在shell下,接收。

//cli shell

hive -S -e 'select country,count(*) from tab_ext' > /home/hadoop/hivetemp/e.txt 

  有了这种执行机制,就使得我们可以利用脚本语言(bash shell,python)进行hql语句的批量执行

select * from tab_ext sort by id desc limit 5;
select a.ip,b.book from tab_ext a join tab_ip_book b on(a.name=b.name);

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  如业务场景里,

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  有了这种执行机制,就使得我们可以利用脚本语言(bash shell,python)进行hql语句的批量执行。

bash shell和python是最常用的两种脚本语言。

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

新建包,cn.itcast.bigdata

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

新建,PhoneNbrToArea.java

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

编写代码

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

解压

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  为了方便,把D:\SoftWare\hive-0.12.0\lib的jar包,全导入进去,但是,还要导入hadoop-core-***.Jar。(初学,还是手动吧!)

  查阅了一些资料。在hive工程,所依赖的jar包,一般都是有如下就好了。12个jar包。

http://xiaofengge315.blog.51cto.com/405835/1408512

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

http://blog.csdn.net/haison_first/article/details/41051143

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

commons-lang-***.jar

commons-logging-***.jar

commons-logging-api-***.jar

hadoop-core-***.jar

hive-exec-***.jar

hive-jdbc-***.jar

hive-metastore-***.jar

hive-service-***.jar

libfb***.jar

log4j-***.jar

slf4j-api-***.jar

sl4j-log4j-***.jar

说明,注意了,在hadoop-2.X版本之后,hadoop-core-***.jar,没有了,被分散成其他的jar包了。以前,是放在hadoop压缩包下的share目录下的

http://zhidao.baidu.com/link?url=KI6ZkudqskDjAthYc2PtTlmB_3FhR3OaMzm4Wcrl_oCkaJfBhaTd7mHSHsy1lkPYO8xa0EGhpD8RSnYdnpkDkGiZX04qff3ul3-xX-cOi07

  2.x系列已经没有hadoop-core的jar包了,变成一个个散的了,像下面这样

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  鉴于此,因为,hive工程依赖于hive jar依赖包,日志jar包。

由于hive的很多操作依赖于mapreduce程序,因此,hive工程中还需引入hadoop包。

udf和jdbc连接hive需要的jar包,基本是最简的了。

在这一步,各有说法,但是确实,是不需要全部导入,当然,若是图个方便,可全部导入。

我这里,hadoop的版本是,hadoop-2.4.1,hive的版本是,hive-0.12.0。(因为,这个是自带的)

再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

Hive工程所需依赖的jar包 

总结:就是将D:\SoftWare\hadoop-2.4.1\share\hadoop\common下的hadoop-common-2.4.1.jar

,以及D:\SoftWare\hive-0.12.0\lib\下的所有。即可。(图个方便)!

当然,生产里,不建议这么做。

也参考了网上一些博客资料说,不需这么多。此外,程序可能包含一些间接引用,以后再逐步逐个,下载,添加就是。复制粘贴到hive-0.12.0lib 里。

去 http://mvnrepository.com/ 。

  参考我的博客

Eclipse下新建Maven项目、自动打依赖jar包

2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

weekend110-hive   ->   Build Path   ->  Configure Build Path

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

总结:就是将D:\SoftWare\hadoop-2.4.1\share\hadoop\common下的hadoop-common-2.4.1.jar

,以及D:\SoftWare\hive-0.12.0\lib\下的所有。即可。(图个方便)!

D:\SoftWare\hive-0.12.0\lib\下的所有

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

D:\SoftWare\hadoop-2.4.1\share\hadoop\common下的hadoop-common-2.4.1.jar

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

package cn.itcast.bigdata;
import java.util.HashMap;
import org.apache.hadoop.hive.ql.exec.UDF; public class PhoneNbrToArea extends UDF{
private static HashMap<String, String> areaMap = new HashMap<>();
static {
areaMap.put("1388", "beijing");
areaMap.put("1399", "tianjin");
areaMap.put("1366", "nanjing");
} //一定要用public修饰才能被hive调用
public String evaluate(String pnb) {
String result = areaMap.get(pnb.substring(0,4))==null? (pnb+" huoxing"):(pnb+" "+areaMap.get(pnb.substring(0,4)));
return result;
}
}

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

默认是/root/下,

这里,我改下到/home/hadoop/下

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

//UDF

select if(id=1,first,no-first),name from tab_ext;

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

hive>add jar /home/hadoop/myudf.jar;
hive>CREATE TEMPORARY FUNCTION my_lower AS 'org.dht.Lower';
select my_upper(name) from tab_ext;

 hive自定义函数

接下来,创建hive自定义函数,来与它关联。Hive自带的函数是永久,我们自定义的函数是TEMPORARY。

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

得要去掉, 不然后续处理,会出现问题。

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

  在企业里,使用hive是有规范步骤的,一般在采用元数据,自动用mapreduce程序,清洗之后,再给hive。

  数据采集  -》   数据清洗   -> 数据归整   ->   再交给hive

分桶

  注意:普通表(外部表、内部表)、分区表这三个都是对应HDFS上的目录,桶表对应是目录里的文件

//CLUSTER <--相对高级一点,你可以放在有精力的时候才去学习>

create table tab_ip_cluster(id int,name string,ip string,country string)

clustered by(id) into 3 buckets;   //根据id来分桶,分3桶

load data local inpath '/home/hadoop/ip.txt' overwrite into table tab_ip_cluster;


set hive.enforce.bucketing=true;


insert into table tab_ip_cluster select * from tab_ip;



select * from tab_ip_cluster tablesample(bucket 2 out of 3 on id);


  分桶是细粒度的,分桶是不同的文件

  分区是粗粒度的,即相当于,表下建立文件夹。分区是不同的文件夹

桶在对指定列进行哈希计算时,会根据哈希值切分数据,使每个桶对应一个文件。

  里面的id是哈希值,分过来的。

分桶,一般用作数据倾斜和数据抽样方面。由此,可看出是细粒度。

附PPT

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api

3  hql语法及自定义函数(含array、map讲解)   +  hive的java api