Hive之函数
Hive之函数
第一节：内置函数
一、显示内置函数列表
show functions；
默认271个
二、查看函数的基本使用
desc function funname;
desc function max;
三、查看函数的详细使用教程
desc function extended funname;
desc function extended max;
四、函数分类
1、UDF
USER DEFINE FUNCTION 用户定义函数，进一路出一路
2、UDAF
USER DEFINE aggregate FUNCTION 用户定义聚合函数，进多路出一路
3、UDTF
USER DEFINE table FUNCTION 用户定义表函数，进一路出多路
explode 炸裂
第二节：常用函数之数值
一、ceil
向上取整
ceil(x) 大于等于参数的第一个整数
二、floor
向下取整
floor(x) 小于等于参数的第一个整数
三、round
round(x[, d]) 参数1 需要四舍五入的数 参数2：小数位数
select round(3.556789);
select round(3.556789,2);
四、rand
求随机数 0-1
rand([seed]) 参数：随机数种子，种子一样的，随机数固定的。
一般使用无参的select rand();
第二节：常用函数之字符串
一、简介
hive中的字符串，下标1开始的，字符串从右向左标记-1开始的。
二、split
split(str, regex) 参数1 字符串 参数2 切分的分隔符
select split("a,b,c,d",","); 返回值 数组类型
三、instr
instr(str, substr) 参数1：原始字符串，参数2：需要查找的子字符串
返回子字符串在原始字符串中第一次出现的位置，不存在 0
select instr("hello word","wo");
select instr("hello word","ww");
四、大小写
ucase 大写
lcase 小写
upper 大写
lower 小写
ucase(str)
五、字符串切分
substr
substring
substr(str, pos[, len]) 参数1 字符串 参数2 位置 参数3 截取长度
六、去空格
trim（str） 去前后空格
ltrim(str) 去前空格
rtrim(str) 去后空格
七、拼接
concat(str1, str2, ... strN) 将参数拼接为一个字符串
concat_ws(分隔符，str1,str2....) 按照一定的分隔符，拼接字符串的
八、字符串长度
length 返回字符串长度
第三节：常用函数之日期
一、获取当前系统时间戳
current_timestamp()
select current_timestamp(); 日期 时间
current_date
select current_date(); 获取当前系统的日期的
二、时间戳->日期
from_unixtime
from_unixtime(unix_time, format) 参数1 时间戳 参数2 日期格式
select from_unixtime(1558281600,"yyyy-MM-dd hh:mm:ss");
时间戳转成日期，其中时间戳必须是整形。
三、日期->时间戳
unix_timestamp(date[, pattern]) 参数1 日志 参数2 参数1的表达式
select unix_timestamp("2019-5-20 17:27:56","yyyy-MM-dd hh:mm:ss");
四、时间提取
year 年
month 月
day
hour
minute
second
select year("2019-3-4");
五、其他
to_date：返回日期
date_add：当前日期加几天
date_sub：当前日期 减几天
day：当前日期的号
month：当前日期是几月份
year：当前日期是哪一年
2018-6-30
weekofyear：给定的日期的周数
第四节：常用函数之类型转换
cast(原始数据 as 需要转换的类型)
cast(age as bigint)
第五节：常用函数之条件判断
一、if
if(判断，返回值1，返回值2)；
类似java中的三元运算符
二、nvl
nvl（需要判断的字段，参数1为null的返回值）；
用于处理null值
三、coalesce
coalesce；
返回第一个不为null的值
第六节：常用函数之炸裂函数
一、简介
explode：炸裂函数，将数组或map集合进行炸裂。
数组或map集合中的每一个元素为一行[1,2,3,4]{a:1,b:2}
对于数组每个元素只有一个，炸裂的结果只有一列，对于map每个元素有k-v 炸裂出来的结果2列。
二、单独使用
作为查询的参数
第七节：常用函数之窗口函数
一、概念
hive中提供的，运用一定的语法，可以按照我们的用户需求，将表中的数据分成多个独立的部分，每一个部分都是单独执行的，每一个部分数据称为一个窗口，每一个窗口内部的逻辑只执行当前窗口的数据，不会垮窗口执行数据。
开窗函数一般和其他的功能性函数一起使用，在都出开窗的那一字段。
在over子句中可以只给排序，默认只有一个窗口。
二、over子句
1、简介
over子句用于指定开窗的，每一个“窗口”依据。一般情况下，指定的每一个窗口按照某一个字段相同的数据放在每一个窗口中。
over(指定开窗依据的字段 指定每一个窗口内的排序规则)
2、开窗依据
必须要指定的。
一旦指定开窗依据的字段，就会将相同的字段值，放在一个窗口中。
语法：
distribute by 字段名
partition by 字段名
3、排序规则
可以指定，也可以不指定。
语法：
sort by --- distribute by
order by --- partition by
4、总结
over(partition by ...order by ..)
over(distribute by ....sort by )
over子句(开窗)不能单独使用，需要配合一些功能性的函数一起使用。
三、配合聚合函数
1、简介
max(字段) | sum（字段） + over子句，根据over子句指定的开窗规则，进行求每一个窗口内部的最大值 | 总和。
一般用于利润累计，目前最大值等
四、分组求topN
1、简介
rank|dense_rank 添加排名的，每个开窗内部，添加排名的
row_number添加行号的，1开始的
