【Hive五】Hive函数UDF

Hive函数

系统自带的函数

查看系统自带的函数

• 查看系统自带的函数
  show functions;

• 显示自带的函数的用法
  desc function upper;

• 详细显示自带的函数的用法
  desc function extended upper;

自定义函数描述

描述

当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function），详情请查看：官网

根据用户自定义函数类别分为以下三种

• UDF（User-Defined-Function）
  一进一出

• UDAF（User-Defined Aggregation Function）

  聚集函数，多进一出
  类似于：count/max/min

• UDTF（User-Defined Table-Generating Functions）

  一进多出
  如lateral view explore()

自定义开发步骤(UDF)

• 继承org.apache.hadoop.hive.ql.UDF

• 需要实现evaluate函数；evaluate函数支持重载

• 在hive的命令行窗口创建函数

  1. 添加jar
     add jar linux_jar_path

  2. 创建function
     create [temporary] function [dbname] function_name AS class_name

• 在hive命令窗口删除函数

  1. Drop [temporary] function [if exists] [dbname.] function_name;

• 注意事项

  1. UDF必须要有返回类型,可以返回null，但是返回类型不能为void

  2. UDF中常用Text/LongWritable等类型，不推荐使用java类型

开发案例(UDF)

• 创建一个java工程，并创建一个lib文件夹

• 将hive的jar包解压后，将apache-hive-1.2.1-bin\lib文件下的jar包都拷贝到java工程中

• 创建一个类

  package com.demo.hive;
  
  import org.apache.hadoop.hive.ql.exec.UDF;
  
  public class Lower extends UDF {
  
      public String convert(final String s) {
          
          if (s == null) {
              return null;
          }
          
          return s.toString().toLowerCase();
      }
  }
  

• 打成jar包上传到服务器/opt/module/jars/udf.jar

• 将jar包添加到hive的classpath
  hive (default)> add jar /opt/module/jars/udf.jar;

• 创建临时函数与开发好的java class关联

  hive (default)> create temporary function my_lower as "com.demo.udf.Lower";

• 即可在hql中使用自定义的函数strip

  select ename, my_lower(ename) lowername from emp;