Hive总结(十一)Hive自定义函数UDF

时间:2022-11-02 08:56:56


Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。

一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:

a)文件格式:Text File,Sequence File

b)内存中的数据格式: Java Integer/String, Hadoop IntWritable/Text

c)用户提供的 map/reduce脚本:不管什么语言,利用 stdin/stdout 传输数据

d)用户自定义函数: Substr, Trim, 1 – 1

e)用户自定义聚合函数: Sum, Average…… n – 1

2、定义:UDF(User-Defined-Function),用户自定义函数对数据进行处理。

二、用法

1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。

2、编写UDF函数的时候需要注意一下几点:

a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。

evaluate函数。


c ) evaluate 函数支持重载。


实现 IP  转十进制


[java] 
​​view plain​​
​​copy​​
​​print​​
​​?​​
1. package org.iptostring;
2.
3. import org.apache.hadoop.hive.ql.exec.UDF;
4.
5. public class IpToString extends UDF {
6. public String evaluate(long longIp){
7. new StringBuffer("");
8. 24)));
9. ".");
10. 0x00FFFFFF) >>> 16));
11. ".");
12. 0x0000FFFF) >>> 8 ));
13. ".");
14. 0x000000FF)));
15. return sb.toString();
16. }
17. }


[java] 
​​view plain​​
​​copy​​
​​print​​
​​?​​
1. package org.iptolong;
2.
3. import java.util.regex.Pattern;
4. import org.apache.hadoop.hive.ql.exec.UDF;
5.
6. public class IpToLong extends UDF {
7.
8. public long evaluate(String strIp){
9. "((\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5])\\.(\\d{1,2}|1\\d\\d|2[0-4]\\d|25[0-5]))");
10. if (pattern.matcher( strIp ).matches()){
11. long[] ip = new long[4];
12. int position1 = strIp.indexOf(".");
13. int position2 = strIp.indexOf(".", position1 + 1);
14. int position3 = strIp.indexOf(".", position2 + 1);
15. 0] = Long.parseLong(strIp.substring(0, position1));
16. 1] = Long.parseLong(strIp.substring(position1+1, position2));
17. 2] = Long.parseLong(strIp.substring(position2+1, position3));
18. 3] = Long.parseLong(strIp.substring(position3+1));
19. return (ip[0] << 24) + (ip[1] << 16) + (ip[2] << 8 ) + ip[3];
20. else{
21. return 0;
22. }
23. }
24. }