自定义UDF

时间：2023-12-21 22:36:26
1、编写udf类
    

  1. package hive.udf;
    2. 

    3. 

  3. import org.apache.hadoop.hive.ql.exec.Description;
    4. 

  4. import org.apache.hadoop.hive.ql.exec.UDF;
    5. 

    6. 

  6. /**
    7. 

  7.  * UDF的说明文档
    8. 

  8.  * name是UDF的名称
    9. 

  9.  * value是desc function xx输出的内容 
    10. 

  10.  * extended是desc function extended xx输出的内容 
    11. 

  11.  *
    12. 

  12.  */
    13. 

  13. @Description(name="uppernum", 
    14. 

  14. 	value="_FUNC_ the input is a num, the output is the UpperNum", 
    15. 

  15. 	extended="Example:\n" + 
    16. 

  16. 		"> select uppernum(1) from src \n")
    17. 

  17. public class UpperNumUDF extends UDF {
    18. 

    19. 

  19. 	/**
    20. 

  20. 	 * UDF类需要自定义evaluate方法，可以重载多个
    21. 

  21. 	 * 
    22. 

  22. 	 * evaluate的参数、返回值必须是hive可以序列化的类型
    23. 

  23. 	 * 
    24. 

  24. 	 * 参数：
    25. 

  25. 	 * 	1）可以是java基本类型、String
    26. 

  26. 	 * 	2）可以是Text
    27. 

  27. 	 * 	3）可以包含多个参数，参数类型也可以不同
    28. 

  28. 	 * 	4）可以是List<?>。如果hive表字段是Array<?>类型的，则是List
    29. 

  29. 	 * 
    30. 

  30. 	 * 返回值：
    31. 

  31. 	 * 	1）必须有返回值，可以为null
    32. 

  32. 	 * 	2）返回值只能是java基本类型、String、Writable
    33. 

  33. 	 * 
    34. 

  34. 	 * 可以自定义 UDFMethodResolver来手动匹配方法的执行
    35. 

  35. 	 * 
    36. 

  36. 	 * @param num
    37. 

  37. 	 * @return
    38. 

  38. 	 */
    39. 

  39. 	public String evaluate(int num) {
    40. 

  40. 		String str = "ERROR";
    41. 

  41. 		
    42. 

  42. 		switch (num) {
    43. 

  43. 		case 0:
    44. 

  44. 			str = "零";
    45. 

  45. 			break;
    46. 

  46. 		case 1:
    47. 

  47. 			str = "壹";
    48. 

  48. 			break;
    49. 

  49. 		case 2:
    50. 

  50. 			str = "贰";
    51. 

  51. 			break;
    52. 

  52. 		case 3:
    53. 

  53. 			str = "叁";
    54. 

  54. 			break;
    55. 

  55. 		case 4:
    56. 

  56. 			str = "肆";
    57. 

  57. 			break;
    58. 

  58. 		case 5:
    59. 

  59. 			str = "伍";
    60. 

  60. 			break;
    61. 

  61. 		default:
    62. 

  62. 			break;
    63. 

  63. 		}
    64. 

  64. 		
    65. 

  65. 		return str;
    66. 

  66. 	}
    67. 

  67. 	
    68. 

  68. 	public String evaluate(String num) {
    69. 

  69. 		int intnum = 100;
    70. 

  70. 		try {
    71. 

  71. 			intnum = Integer.parseInt(num);
    72. 

  72. 		} catch (NumberFormatException e) {
    73. 

  73. 		}
    74. 

  74. 		return evaluate(intnum);
    75. 

  75. 	}
    76. 

    77. 

  77. }
    78.

2、打包类，将jar上传到hive所在机器上

3、启动hive，在hive会话里执行：
1）加载jar包
  1. hive (test)> add jar ${env:HOME}/udf.jar;
ps：jar包路径没有引号

2）创建uppernum 
  1. hive (test)> create [temporary] function uppernum as 'hive.udf.UpperNumUDF';
ps：创建的function，在hive会话结束后将消失，可以在.hiverc里设置，来确保每次hive启动时都执行create。

3）使用uppernum 
    

  1. hive (test)> select uppernum(2) from dual;
    2. 

  2. OK
    3. 

  3. 贰
    4. 

  4. Time taken: 0.118 seconds, Fetched: 1 row(s)
    5. 

  5. hive (test)> select uppernum(5) from dual;
    6. 

  6. OK
    7. 

  7. 伍
    8.

4）查看uppernum的说明文档
    

  1. hive (test)> desc function uppernum;
    2. 

  2. OK
    3. 

  3. uppernum the input is a num, the output is the UpperNum
    4. 

  4. Time taken: 0.138 seconds, Fetched: 1 row(s)
    5. 

    6. 

  6. hive (test)> desc function extended uppernum;
    7. 

  7. OK
    8. 

  8. uppernum the input is a num, the output is the UpperNum
    9. 

  9. Example:
    10. 

  10. > select uppernum(1) from src 
    11. 

    12. 

  12. Time taken: 0.138 seconds, Fetched: 4 row(s)
    13.

5）删除UDF
    

  1. hive> drop [temporary] function uppernum;
    2. 

  2. OK
    3. 

  3. Time taken: 0.221 seconds
    4.



附件列表

相关文章