hive函数之数学函数

hive函数之数学函数
 
round(double d)--返回double型d的近似值(四舍五入),返回bigint型;
round(double d,int n)--返回保留double型d的n位小数double型近似值(四舍五入);
floor(double d)--返回<=d的最大bigint值;
ceil(double d)--返回>=d的最小bigint 值;
ceiling(double d)--返回>=d的最小bigint 值;
rand() --每行返回一个double型随机数;
rand(int seed) --每行返回一个double型随机数,整数seed是随机因子;
exp(double d)--返回e的 d幂次方,返回double型;
ln(double d)--以自然数为底d的对数,返回double型;
log10(double d)--以10为底d的对数,返回double型;
log2(double d)--以2为底d的对数,返回double型;
log(double base,double d)--以base为底d的对数,返回double型;
pow(double d,double p)--d的p次幂,返回double型;
power(double d,double p)--d的p次幂,返回double型;
sqrt(double d)--d的平方根,返回double型;
bin(bigint i)--二进制i的string类型;
hex(bigint i)--十六进制i的string类型;
hex(string str)--计算十六进制表达的str值;
unhex(string i)--hex(string str)的逆方法;
conv(bigint num,int from_base,int to_base)--将bigint类型的num从from_base进制转换成to_base进制,返回string类型;
conv(string num,int from_base,int to_base)--将string类型的num从from_base进制转换成to_base进制,返回string类型;
abs(double d)--计算double型d 的绝对值,返回double型;
pmod(int i1,int i2)--int型i1对 int型 i2取模,结果为int型;
pmod(double d1,double d2)--double型i1对double型 i2取模,结果为double型;
sin(double d)--返回d的正弦值,结果为double型;
asin(double d)--返回d的反正弦值,结果为double型;
cos(double d)--返回d 的余弦值,结果为double型;
acos(double d)--返回d的反余弦值,结果为double型;
tan(double d)--返回d的正切值,结果为double型;
atan(double d)--返回d的反正切值,结果为double型;
degrees(double d)--将弧度值d转换成角度值,结果为double型;
radians(double d)--将角度值d转换成弧度值,结果为double型;
positive(int i)--等价有效表达式是\+i,返回i,结果为int型;
positive(double d)--等价有效表达式是\+d,返回d,结果为double型;
negative(int i)--等价有效表达式是-i,返回i的负数,结果为int型;
negative(double d)--等价有效表达式是-i,返回d的负数,结果为double型;
sign(double d)--如果d是正数的话,则返回float型1.0,如果d是负数的话,则返回-1.0,否则返回0.0;
e()--数学常熟e,超越数;
PI()--数学常数Pi,圆周率;
 
hive函数之聚合函数
 
count(*)--计算总行数,包括null值;
count(expr)--计算expr表达式的值,非null的行数;
count(distinct expr[,expr_.])--计算expr表达式的值排重后非null的行数;
sum(col)--指定行的值的和;
sum(distinct col)--排重后值的和;
avg(col)--指定行的值的平均值;
avg(distinct col)--排重后的值的平均值;
min(col)--指定行的值的最小值;
max(col)--指定行的值的最大值;
variance(col)--返回col 中一组数值的方差;
var_pop(col)---返回col 中一组数值的方差;
var_samp(col)--返回col 中一组数值的样本方差;
stddev_pop(col)--返回col 中一组数值的标准偏差;
stddev_samp(col)--返回col 中一组数值的样本偏差;
covar_pop(col1,col2)--返回一组数值的协方差;
covar_samp(col1,col2)--返回一组数值的样本协方差;
corr(col1,col2)--返回两组数值的相关系数;
percentile(bigint int_expr,p)--int_expr在p(范围是[0,1])处对应的百分比,其中p是double型;
percentile(bigint int_expr,array(p1[,p2…]))--int_expr在p(范围是[0,1])处对应的百分比,其中p是double型数组;
percentile(double col,p[,NB])--col在p(范围是[0,1])处对应的百分比,其中p是double型,NB是用于估计的直方图中的仓库数量(默认10000);
percentile_approx(double col,array(p1[,p2…])[,NB])--col在p(范围是[0,1])处对应的百分比,其中p是double型数组,NB是用于估计的直方图中的仓库数量(默认10000);
histogram_numeric(col,NB)--返回NB数量的直方图仓库数组,返回结果array<struct{'x','y'}>中的值x是中心,y是仓库的高;
collect_set(col)--返回集合col元素排重后的数组;
set hive.map.aggr=true; --通过设置属性hive.map.aggr值为true来提高聚合性能;
 
hive函数之表生成函数
 
当时用表生成函数时,hive要求使用别名;
explode(ARRAY array)--返回0到多行结果,每行都对应输入的array数组中的一个元素;
explode(MAP map)--返回0到多行结果,每行对应每个map键-值对,其中一个字段是map键,另一个字段是对应的map值;
explode(ARRAY<TYPE> a)--对于a的每个元素,explode()会生成一行记录包含这个元素;
inline(ARRAY<STRUCT[,STRUCT]>)--将结构体数组提取出来并插入到表中;
json_tuple(STRING jsonStr,p1p2,…,pn)--本函数可以接受多个标签名称,对于输入的json字符串进行处理,这个与get_json_object类似,不过更高效,通过一次调用就可以获得多个键值;
parse_url_tuple(url,partname1,partname2,…,partnameN)--从url中解析出n部分信息,其输入参数是url,以及多个要抽取部分的名称。所有输入的参数类型都是string,部分名称大小写是敏感的,不应该包含空格:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO,QUERY:<KEY_NAME>;
stact(int n,col1,col2,…,colM)--把M列换成N行,每行有M/N个字段,n为常数;
 
hive函数之其他内置函数
 
ascii(string s)--返回字符串s中首个ASCII字符的整数型;
base64(binary bin)--基于二进制值bin转换成基于64位的字符串;
binary(srting s)--将输入的值转换成二进制值;
binary(BINARY b)--将输入的值转换成二进制值;
cast(<expr> as <type>)--将expr转换成type类型的,例如cast('1' as bigint)会将字符串转换成bigint数值类型,如果转换失败,则返回null;
concat(binary s1,binary s2,…)--将二进制字节码按次序拼接成一个字符串;
concat(string s1,string s2,…)--将字符串s1,s2等拼接成一个字符串,例如concat('ab','cd')的结果是 'abcd';
concat_ws(string separator,string s1,string s2,…)--与concat类似,不过是使用指定的分隔符进行拼接的;
context_ngrams(array<array<string>>,array<string>,int K,int pf)--与ngrams类似,但是从每个外层数组的第二个单词数组来查找前K个字尾;
decode(binary bin,string charset)--使用指定的字符集charset将二进制bin解码成字符串(支持的字符集有:'US_ASCII','IOS-8859-1','UTF-8','UTF-16BE','UTF-16FE','UTF-16'),如果任一项输入参数为null,则结果为null;
encode(string src,string charset)--使用指定的字符集charset将字符串src编码成二进制值(支持的字符集有:'US_ASCII','IOS-8859-1','UTF-8','UTF-16BE','UTF-16FE','UTF-16'),如果任一项输入参数为null,则结果为null;
find_in_set(string s,string commaSeparatedString)--返回在以逗号分隔的字符串中s出现的位置,如果没找到则返回null;
format_number(number x,int d)--将数值x转换成‘#,###,###.##’格式字符串,并保留d位小数。如果d为0,那么输出值就没有小数点后面的值;
get_json_object(string json_string,string path)--从给定路径上的json字符串中抽取json对象,并返回这个对象的json字符串形式。如果输入的json是非法的,则返回null;
in--例如test in(val1,val2,…),其表示如果test值等于后面列表中任一值的话,则返回true;
in_file(string s,string filename)--如果文件名为filename的文件中有完整一行数据和字符串s完全匹配的话,则返回true;
instr(string str,string substr)--查找字符串str中子字符串substr第一次出现的位置;
length(string s)--计算字符串s的长度;
locate(string substr,string str[,int pos])--查找字符串str中pos位置后字符串substr第一次出现的位置;
lower(string s)--将字符串中所有字母转换成小写字母;
lcase(string s)--和lower()一样;
lpad(string s,int len,string pad)--从左边开始对字符串s使用字符串pad进行填充,最终达到len长度为止。如果字符串s本身长度比len大的话,那么多余部分会被去除;
ltrim(string s)--将字符串s前面出现的空格全部去除掉;
ngram(array<array<string>>,int N,int K,int pf)--估计文件中前K个字尾。pf是精度系数;
parse_url(string url,string partname[,string key])--从url中抽取指定部分的内容。参数url表示一个url字符串,参数partname表示要抽取的部分名称,其是大小写敏感的,可选的值有:HOST,PATH,QUERY,REF,PROTOCOL,AUTHORITY,FILE,USERINFO,QUERY:<KEY>;如果partname是QUERY的话,那么还需要指定第三个参数key;
printf(string format,Obj…args)--按照printf风格格式化输出输入的字符串;
regexp_extract(string subject,string regexp_pattern,string index)--抽取字符串subject中符合正则表达式regexp_pattern的第 index个部分的子字符串;
regexp_relpace(string s,string regex,string replacement)--按照java正则表达式regex将字符串s中符合条件的部分替换成replacement所指定的字符串a,如果replacement部分是空的话,那么符合正则的部分将会被去除掉。如regexp_relpace('hive','[ie]','z')的结果是'hzvz';
repeat(string s,int n)--重复输入n次字符串s;
reverse(string s)--反转字符串;
rpad(string s,int len,string pad)--从右面开始对字符串s使用字符串pad进行填充,最终达到len长度为止,如果字符串s本身长度比len大的话,那么多余部分将会被去除;
rtrim(string s)--将字符串s右面出现的空格全部去除掉;
sentences(string s,string lang,string locale)--将输入字符串s转换成句子数组,每个句子又由一个单词数组构成,单词lang和locale是可选的,如果没有使用,则使用默认本地化信息;
size(MAP<K.V>)--返回map中元素的个数;
size(ARRAY<T>)--返回数组array的元素个数;
space(int n)--返回n个空格;
split(string s,string pattern)--按照正则表达式pattern分割字符串s,并将分割后的部分以字符串数组的方式返回;
str_to_map(string s,string delim1,string delim2)--将字符串s按照指定分隔符转化成map,第一个参数是输入的字符串,第二个参数是键值对之间的分隔符,第三个参数是键和值之间的分隔符;
substr(string s,string start_index,string length)--对于字符串s,从start位置开始截取length长度的字符串,作为子字符串,例如substr('abcdefgh',3,5)的结果是'cdefg';
substring(string s,string start_index,string length)--对于字符串s,从start位置开始截取length长度的字符串,作为子字符串,例如substr('abcdefgh',3,5)的结果是'cdefg';
substr(binary s,string start_index,string length)--对于二进制字节值s,从start位置开始截取length长度的字符串,作为子字符串;
substring(binary s,string start_index,string length)--对于二进制字节值s,从start位置开始截取length长度的字符串,作为子字符串;
trim(string a)--将字符串a前后出现的空格全部去掉;
unbase64(string str)--将基于64位的字符串str转换成二进制值;
upper(string a)--将字符串中所有的字母转换成大写字母;
ucase(string a)--将字符串中所有的字母转换成大写字母;
from_unixtime(bigint unixtime[,string format])--将时间戳秒数转换成UTC时间,并用字符串表示,可以通过format规定的时间格式,指定输出的时间格式;
unix_timestamp()--获取当前本地时区下的当前时间戳,例如:1534132825;
unix_timestamp(string date)--输入的时间字符串格式必须是yyyy-MM-dd HH:mm:ss,如果不符合则返回0,如果符合则将此时间字符串转换成Unix时间戳,例如unix_timestamp('2009-03-20 11:30:01')=1237519801;
unix_timestamp(string date,string pattern)--将指定时间字符串格式转换成Unix时间戳,如果格式不对,则返回0,例如unix_timestamp('2009-03-20','yyyy-MM-dd')=1237478400;
to_date(string timestamp)--返回时间字符串的日期部分,例如:to_date("1970-01-01 00:00:00")="1970-01-01";
year(string date)--返回时间字符串中的年份并使用int类型表示。例如:year("1970-01-01 00:00:00")="1970";
month(string date)--返回时间字符串中的月份并使用int类型表示。例如:month("1970-01-01 00:00:00")="1";
day(string date)--返回时间字符串中的天并使用int类型表示。例如:day("1970-01-01 00:00:00")="1";
dayofmonth(string date)--返回时间字符串中的天并使用int类型表示。例如:day("1970-01-01 00:00:00")="1";
hour(string date)--返回时间字符串中的小时并使用int类型表示。例如:hour("1970-01-01 11:58:59")="11";
minute(string date)--返回时间字符串中的分钟数;
second(string date)--返回时间字符串中的秒数;
weekofyear(string date)--返回时间字符串位于一年中第几个周内,例如:weekofyear("1970-11-01 11:58:59")="44";
datediff(string enddate,string startdate)--计算开始时间startdate到结束时间enddate相差的天数,例如 datediff('2009-03-01','2009-02-27')=2;
date_add(string startdate,int days)--为开始时间startdate增加days天。例如:date_add('2018-12-31',1)='2009-01-01';
date_sub(string startdate,int days)--从开始时间startdate减去days天。例如date_sub('2008-12-31',1)='2018-12-30';
from_utc_timestamp(TIMESTAMP timestamp,STRING timezone)--如果给定的时间戳并非UTC,则将其转化成指定的时区下的时间戳;
to_utc_timestamp(TIMESTAMP timestamp,STRING timezone)--如果给定的时间戳是指定的时区下的时间戳,则将其转化成UTC下的时间戳;
 
以上是我整理的hive函数,不太全,可能有些有错误,手工打,见谅~
 

posted @ 2018-08-16 15:04  夏日的向日葵  阅读(11480)  评论(0编辑  收藏  举报