hivesql笔记
一、常用聚合函数
count():计数 count(distinct 字段) 去重统计
sum():求合
avg():平均
max():最大值
min():最小值
二、hivesql执行顺序
from --> where --> group by --> having --> select--> order by--> limit
三、常用函数
1.毫秒时间戳转日期精确到秒
select from_unixtime(cast(1636462527000/1000 as int),'yyyy-MM-dd hh:mm:ss')
2.计算日期的间隔
select datediff("2021-10-01", "2021-10-30") 或 select datediff("2021-10-01", to_date("create_time"))
3.条件函数case when
select
case when age<20 then '20以下'
when age>=20 and age <=30 then '20～30岁'
else '40岁以上' end as age_type
from user_info
4.多重case when
select
source,
userid,
case when nvl(cast(source as bigint), 0) =1 then(
case when nvl(cast(userid as string), '') <>'' then'小程序来源真实用户'
else '小程序来源非真实用户' end)
when nvl(cast(source as bigint), 0) =2 then(
case when nvl(cast(userid as string), '')<>'' then'h5来源真实用户'
else 'h5来源非真实用户' end)
else "其他来源未知用户"
end as source_user
from ods.user_base
where dd='2021-10-28'
5.条件语句 if判断
>0定义为正规渠道 否则是非正规渠道
select
if(cast(source_leve as bigint) >0 ,'正规渠道','非正规渠道') as source_qd,
count(1)
from
ods.xcx_base
where dd='2021-10-28'
group by if(cast(source_leve as bigint) >0 ,'正规渠道','非正规渠道')
6.字符串函数-字符串截取
select substr("2021-10-27",1,7) as month --从第一位街区到7位
substr("2021-10-27",2) as month --从第二位开始 一值截取到最后一位
7.字符串拼接
concat('haode',userid,'okok') as new_str --拿表里字段左右拼接
8.map数据类型和字符串类型map数据获取
第一种 字符串类型的map数据{"phone":"1234", "name":"z张三"}
select get_json_object('{"phone":"1234","name":"za"}', '$.phone') as phone
第二种 map数据类型
select 字段["phone"] as phone
四、表连接
1.inner join 缩写join 查询交集的数据
例如 user表1、user表2 需要查出在user表1和user表2同时存在的userid
select * from user表1 a
join user表2 b
on a.userid=b.userid
join示例2: 客户表和粉丝表 查询在2021-09-19这天既成为客户也成为了粉丝的用户id
select
a.userid
from
(select distinct userid from 客户表 where create_time='2021-09-19') a
join
(select distinct userid from 粉丝表表 where create_time='2021-09-19') b
on a.userid=b.userid
2.left join /right join 进行左链接/右链接 没有匹配上显示null
3.full join 全链接 互补left join 和left join过滤掉的数据
4.union all上下合并两张表 注意：两张表的字段名一致、字段顺序一致、没有连接on条件、不去重不排序 效率快
5.union：两张表的字段名一致、字段顺序一致、没有连接on条件 表连接时去掉重复记录，按照字段顺序进行排序 效率比较慢
五、 row_number()、DENSE_RANK()、RANK()窗口函数
row_number() 相同的值也会分第一 第二
DENSE_RANK() 相同的值 排名是一样的 10个一样的值那么就有十个第一
RANK() 相同的值如果占用了一个序号还么会跳过 比如取top3 100 100 80 那么排序名次则是 第一 第一 第三
例：根据日期分组 和店铺id分组取出每个天没个店铺 top3的应收金额
select
*
from(
select
dd,
mid,
should_pay_amt,
row_number() over(partition by dd,mid order by should_pay_amt desc) as rn
from ods.pay_order_detail
where dd between "2021-10-28" and "2021-10-30"
) as a
where rn<=3
