Hive中自定义函数

 

Hive的自定义的函数的步骤:

1°、自定义UDF extends org.apache.hadoop.hive.ql.exec.UDF

2°、需要实现evaluate函数，evaluate函数支持重载

3°、把程序打包放到目标机器上去

4°、进入hive客户端，添加jar包：hive>add jar jar路径

5°、创建临时函数：hive> create temporary function 自定义名称 AS '自定义UDF的全类名'

6°、执行HQL语句；

7°、销毁临时函数：hive> drop temporary function 自定义名称

在hive的hive-exec-1.0.0.jar中有如下结构(这是Hive中的内嵌函数的源码):

举一个例子:是<hive编程指南>中的一个经典案例.

统计显示生效和星座

输入日期显示字符串.

如果是0就显示生肖,如果是1就显示星座.

示例代码如下:

import java.sql.Date;
import java.text.SimpleDateFormat;
import java.util.Calendar;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
import org.junit.Test;

public class UDFZodiacAndConstellation extends UDF {
    public Text evaluate(Date date, int type) {
        // 这个地方Date的类型是java.sql.Date,和数据库打交道的都是这个.
        // 还可以用DateWritable,这个类面封装了一个java.sql.Date类型.
        java.util.Date uDate = new java.util.Date(date.getTime());
        if (type == 0) {// 生肖
            return new Text(getZodica(uDate));
        } else if (type == 1) {// 星座
            return new Text(getConstellation(uDate));
        } else {
            return new Text("NULL");
        }
    }

    public final String[] zodiacArr = { "猴", "鸡", "狗", "猪", "鼠", "牛", "虎", "兔","龙", "蛇", "马", "羊" };
    public final String[] constellationArr = { "水瓶座", "双鱼座", "白羊座", "金牛座","双子座", "巨蟹座", "狮子座", "处女座", 
            "天秤座", "天蝎座", "射手座", "魔羯座" };
    public final int[] constellationEdgeDay = { 20, 19, 21, 21, 21, 22, 23, 23,    23, 23, 22, 22 };

    /**
     * 根据日期获取生肖
     */
    public String getZodica(java.util.Date date) {
        Calendar cal = Calendar.getInstance();
        cal.setTime(date);
        return zodiacArr[cal.get(Calendar.YEAR) % 12];
    }

    /**
     * 根据日期获取星座
     */
    public String getConstellation(java.util.Date date) {
        if (date == null) {
            return "";
        }
        Calendar cal = Calendar.getInstance();
        cal.setTime(date);
        int month = cal.get(Calendar.MONTH);
        int day = cal.get(Calendar.DAY_OF_MONTH);
        if (day < constellationEdgeDay[month]) {
            month = month - 1;
        }
        if (month >= 0) {
            return constellationArr[month];
        }
        // default to return 魔羯
        return constellationArr[11];
    }

    /**
     * 测试方法
     */
    @Test
    public void test() throws Exception {
        System.out.println(getConstellation(new SimpleDateFormat("yyyy-MM-dd").parse("2016-07-09")));
        System.out.println(getConstellation(new SimpleDateFormat("yyyy-MM-dd").parse("2016-07-31")));
        System.out.println(getZodica(new SimpleDateFormat("yyyy-MM-dd").parse("2016-07-31")));
    }
}

然后对这个java文件打包放到Linux中,此处是放到了/usr/local/data/calc-cz.jar  

show functions 能够找到这个创建的cz函数.

查看该自定义函数的函数描述:

在jar源代码包中看关于hive内置year函数的源码:

可以仿照这个内置的函数在编写自定义hive函数的时候,定义函数的描述description.

year函数在hive中的描述

 

关于上面自定义的函数的在hive中的具体使用不再详述......