Hive内置函数和自定义函数的使用
一、内置函数的使用
查看当前hive版本支持的所有内置函数 show function;
查看某个函数的使用方法及作用,比如查看upper函数 desc function upper;
查看upper函数更为详细的信息 desc function extended upper;
转换为小写: lower() 查询emp表中员工姓名,员工姓名小写显示 select empno, ename, lower(ename) from emp;
字符串连接: concat() 查询emp表,将员工姓名追加到员工编号后 select empno, ename, concat(empno, ename) from emp;
二、自定义函数
UDF分为三种,分别如下
- UDF(User-Defined_Function),一进一出(输入一行,输出一行),比如: upper(),lower()等
- UDAF(User-Defined Aggregation Funcation),多进一出(输入多行,输出一行),比如: avg(),sum()等.
- UDTF(User-Defined Table-Generating Functions),一进多出(输入一行,输出多行),比如: collect_set(), collect_list()等.ABSOLUTE
使用自定义函数需要引入hive-exec的依赖
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.3.0</version>
</dependency>
自定义UDF函数
UDF编程模型: (1) 继承 org.apache.hadoop.hive.ql.exec.UDF (2) 实现 evaluate() 方法
实现需求: 自定义UDF函数,给指定的字符串前加上字符串hello 比如: 输入 Tom, 输出 helle:Tom
自定义函数有4种使用方式,the following:
方式一(临时函数,只能在当前客户端使用) 将我们刚编写完成的代码,打成jar maven下 clean package
将jar包上传到hive add jar /home/hadoop/libs.hive-1.0-SNAPSHOT.jar;
创建函数 create temporary function say_hello as 'com.bigdata.hadoop.hive.GenericUDFHello';
查看创建的函数say_hello show functions;
查看函数say_hello的详细信息 desc function extended say_hello;
使用函数 select ename,say_hello(ename) from emp;
方式二(临时函数,只能在当前客户端使用) 在$HIVE_HOME下新建目录auxlib,将jar拷贝到该目录下,重启hadoop cp /home/hadoop/libs/hive-1.0-SNAPSHOT.jar
创建函数say_hello2 create temporary function say_hello2 as 'com.bigdata.hadoop.hive.GenericUDFHello';
函数的查看与使用同方式一
方式三(永久函数,创建后可以在任意客户端使用,建议使用) 上传jar到hdfs hadoop fs -put hive-1.0-SNAPSHOT.jar /libs
创建函数say_hello3 create function say_hello3 as 'com.bigdata.hadoop.hive.GenericUDFHello' using jar 'hdfs://hdpcomprs:9000/libs/hive-1.0-SNAPSHOT.jar';
注意: 创建完function之后,通过show functions并没有看到我们自定义的函数say_hello3,但是可以使用 使用函数,效果同上
方法四(永久函数,将自定义函数集成到hive源码中) 使用这种方式需要修改hive的源代码,集成到hive源码后,hive启动后就可以使用,不用再向hive中注册函数,相当于一个hive的内置函数。如果公司有自己的大数据框架版本,建议使用这种方式。