Hive UDF函数

1.由于公司性质,需要编写一个对字段加密解密的函数。

建立一个maven项目,导入jar包,跟环境的版本保持一致即可。

dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-exec</artifactId>
  <version>1.1.12</version>
</dependency>

然后继承UDF即可

import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;

@Description(name = "IpToNum", value = "_FUNC_(ip) - Convert IPv4 to a num(long).")
public class IpToNum extends UDF {
  public long evaluate(String ip) {
      String[] nums = ip.split("\\.");
      return Long.parseLong(nums[3]) + Long.parseLong(nums[2]) * 256
         + Long.parseLong(nums[1]) * 65536 + Long.parseLong(nums[0]) * 16777216;
  }
}

evaluate方法的输入输出即是UDF函数的输入输出
Description注解部分提供函数的帮助信息. 

2.创建永久函数

打成jar包(idea的打包即可)上传到hdfs文件里:hdfs://test.com:8020/hiveudf/hive-udf.jar

CREATE FUNCTION ods.enbase64 AS 'com.mo9.udf.EncodeBase64' USING JAR 'hdfs://test.com:8020/hiveudf/hive-udf.jar'

这个是属于ods的永久函数,别的库调用时要加上ods.enbase64

3.创建临时函数

create temporary function iptonum as 'com.mo9.udf.EncodeBase64' using jar 'hdfs://test.com:8020/hiveudf/hive-udf.jar'

终端断开,此函数失效。

posted @ 2017-12-05 15:18  ChouYarn  阅读(693)  评论(0编辑  收藏  举报