hive生成连续的时间和连续的数
摘要：select *, DATE_ADD(t_start, n) AS pt from ( SELECT 22 as uid ,'2024-10-01'as t_start ,'2024-10-05'as t_end ,11 as hh )t LATERAL VIEW posexplode(split(
阅读全文
posted @
2024-10-12 21:59
大鹏的鸿鹄之志
阅读(67)
推荐(0) 编辑
HIVE ASCII码
摘要：hive中的分割符使用八进制的ASCII码表示 1 八进制 十六进制 十进制 字符 使用方法 2 00 00 0 nul 3 01 01 1 soh 4 02 02 2 stx 5 03 03 3 etx 6 04 04 4 eot 7 05 05 5 enq 8 06 06 6 ack 9 07
阅读全文
posted @
2023-09-13 11:58
大鹏的鸿鹄之志
阅读(180)
推荐(0) 编辑
HIVE 开窗函数
摘要：first_value 用法：select id, money, first_value(money) over(partition by id order by money) from winfunc; id money first_value_window_0 1001 100 100 1001
阅读全文
posted @
2022-09-21 00:38
大鹏的鸿鹄之志
阅读(130)
推荐(0) 编辑
复杂格式数据处理
摘要：1 SELECT 2 code, 3 name, 4 ai.ACode, 5 ai.AName, 6 bi.BCode, 7 bi.BName 8 FROM (SELECT 9 get_json_object(t.value, '$.base.code') AS code, 10 get_json_
阅读全文
posted @
2022-09-04 20:52
大鹏的鸿鹄之志
阅读(30)
推荐(0) 编辑
Hive UDF 编写
摘要：转载：https://xinchen.blog.csdn.net/article/details/109457019 参考：https://blog.csdn.net/qq_32641659/article/details/89421696?spm=1001.2101.3001.6661.1&utm
阅读全文
posted @
2022-07-19 22:44
大鹏的鸿鹄之志
阅读(57)
推荐(0) 编辑
HIVE UDAF 编写
摘要：https://cloud.tencent.com/developer/article/1918556 https://cloud.tencent.com/developer/article/1846460?from=article.detail.1918556 https://blog.csdn.
阅读全文
posted @
2022-07-19 22:43
大鹏的鸿鹄之志
阅读(60)
推荐(0) 编辑
hive 求多列中的最大值、最小值
摘要：转载：https://blog.csdn.net/weixin_43597208/article/details/119837962
阅读全文
posted @
2022-07-18 22:37
大鹏的鸿鹄之志
阅读(195)
推荐(0) 编辑
HIVE解析json数组
摘要：转载：https://www.yisu.com/zixun/488202.html 这篇文章主要介绍“Hive解析Json数组详细教程”，在日常操作中，相信很多人在Hive解析Json数组详细教程问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Hive解析Json数组详
阅读全文
posted @
2022-07-05 10:42
大鹏的鸿鹄之志
阅读(4497)
推荐(0) 编辑
解决大数据量join发生的数据倾斜问题
摘要：转载：https://blog.csdn.net/qq_36039236/article/details/107696305 自己处理等待补充
阅读全文
posted @
2022-06-21 21:38
大鹏的鸿鹄之志
阅读(38)
推荐(0) 编辑
炸裂函数的用法
摘要：hive explode函数可以将一个array或者map展开，其中explode(array)使得结果中将array列表里的每个元素生成一行；explode(map)使得结果中将map里的每一对元素作为一行，key为一列，value为一列，一般情况下，直接使用即可，但是遇到以下情况时需要结合lat
阅读全文
posted @
2022-06-21 21:36
大鹏的鸿鹄之志
阅读(349)
推荐(0) 编辑
Hive 三种复杂数据类型说明
摘要：转载：https://www.cnblogs.com/leodaxin/p/9898080.html 炸裂函数两个字段，结果数据是笛卡尔积
阅读全文
posted @
2021-10-13 20:24
大鹏的鸿鹄之志
阅读(101)
推荐(0) 编辑
HIVE ： array,map,struct 文本批量导入和str_to_map,named_struct多条插入使用
摘要：转载：https://blog.csdn.net/qq_27082249/article/details/78912727 1.array文本批量导入和数据插入1.1数据准备 1,zhangsan,唱歌-跳舞-游泳 2,lishi,打游戏-唱歌-篮球1.2表的创建 create table t_ar
阅读全文
posted @
2021-04-28 16:06
大鹏的鸿鹄之志
阅读(751)
推荐(0) 编辑
Hive查询优化～布隆过滤器使用
摘要：技术说明：http://lxw1234.com/archives/2016/04/632.htm hive表是orc 存储 本文优化方法：使用 bloom filter 和二级动态分区 实操： 1，建表： CREATE TABLE test( mall_id bigint COMMENT '店铺id
阅读全文
posted @
2021-03-01 20:55
大鹏的鸿鹄之志
阅读(1306)
推荐(0) 编辑
几种排序说明
摘要：转载：https://programskills.blog.csdn.net/article/details/112625508
阅读全文
posted @
2021-01-31 21:27
大鹏的鸿鹄之志
阅读(44)
推荐(0) 编辑
hive元数据
摘要：在使用 Alter语句修改 Hive 分区表结构的时候，会出现已存在的分区结构没有被修改的情况。比如说，新增了一个字段，但是向原有分区插入新增字段数据之后，查询却发现数据为 NULL，或者修改了一个字段类型，查询原有分区的时候发现数据没有被正确识别。 之所以会出现这种情况，是因为 Hive对应分区表
阅读全文
posted @
2021-01-24 18:00
大鹏的鸿鹄之志
阅读(694)
推荐(0) 编辑
Hive小文件合并
摘要：Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。而且这些表通常会按日期进行分区，随着时间的推移，HDFS的文件数目就会逐渐增加。 小文件带来的问题 关于这个
阅读全文
posted @
2020-11-25 20:23
大鹏的鸿鹄之志
阅读(1162)
推荐(0) 编辑
hive计算引擎~Tez
摘要：转载：https://blog.csdn.net/young_0609/article/details/109275517
阅读全文
posted @
2020-11-25 17:38
大鹏的鸿鹄之志
阅读(275)
推荐(0) 编辑
Hive分析窗口函数(三) CUME_DIST,PERCENT_RANK
摘要：转载：http://lxw1234.com/archives/2015/04/185.htm 数据准备： d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 CREATE EXTERNAL TABLE lxw12
阅读全文
posted @
2020-11-15 14:50
大鹏的鸿鹄之志
阅读(187)
推荐(0) 编辑
