随笔分类 -  hive

摘要:hive中日期格式转换 日期时间格式大致分成时间戳和日期时间格式互转,字符串转化成日期时间格式,日期格式之间的转化 1.时间戳和日期互转 unix_timestamp函数,日期转时间戳 当函数参数为空时,返回当前时间戳。 当函数参数为空时,返回当前时间戳。 select unix_timestamp 阅读全文
posted @ 2024-01-30 17:49 whiteY 阅读(3229) 评论(0) 推荐(0) 编辑
摘要:reduce的个数一般最后决定了输出文件的个数,如果想多输出文件的个数(这样文件变小,但有可能程序变慢),那么可以人为增加reduce个数。如果想减少文件个数,也可以手动较少reduce个数(同样可能程序变慢)。但实际开发中,reduce的个数一般通过程序自动推定,而不人为干涉,因为人为控制的话,如 阅读全文
posted @ 2024-01-29 11:47 whiteY 阅读(817) 评论(0) 推荐(0) 编辑
摘要:为什么要使用分区表 默认情况下,Hive中的查询会扫描整个表来获取结果。 现在,考虑一个Hive表,它有数百万行。当一个简单的查询扫描该表时,它会消耗系统资源。而查询将花费大量时间来获取结果,这最终会影响hive应用程序的性能。 因此,在分析如此大的表时,我们需要一种技术来优化查询的性能,其中一种技 阅读全文
posted @ 2024-01-25 17:50 whiteY 阅读(38) 评论(0) 推荐(0) 编辑
摘要:hive原表结构 hive表加新字段interface_type alter table test.test_table add columns(interface_type string); hive表新表结构 阅读全文
posted @ 2023-10-20 10:01 whiteY 阅读(18) 评论(0) 推荐(0) 编辑
摘要:建表语句 ``` CREATE external TABLE `login_number`( serial_number string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEP 阅读全文
posted @ 2023-08-03 15:02 whiteY 阅读(98) 评论(0) 推荐(0) 编辑
摘要:###hive中分组排序过滤使用顺序。 ``` where,group by,having,order by同时使用,执行顺序为 (1)where过滤数据 (2)对筛选结果集group by分组 (3)对每个分组进行select查询,提取对应的列,有几组就执行几次 (4)再进行having筛选每组数 阅读全文
posted @ 2023-08-02 16:59 whiteY 阅读(249) 评论(0) 推荐(0) 编辑
摘要:###一、Hive使用本地模式执行操作(Hive使用资源大于20M的时候还是会采用集群yarn的方式运行) 将hive的job交给yarn执行太慢,hive支持本地模式 设置本地模式之前的,耗时 9.068 设置本地模式之后的,耗时 0.29 ####具体设置方法 1.1、设置临时的 在每次执行hq 阅读全文
posted @ 2023-03-06 10:24 whiteY 阅读(2343) 评论(0) 推荐(0) 编辑
摘要:hive在建表时,通常使用 ROW FORMAT DELIMITED FIELDS TERMINATED BY "|#" 来限定数据中各个字段的分隔符,这种方式只支持单个分隔符,即:实际只会按照"|"进行分割,若想实现支持多分隔符,有如下方式: hive从0.14版本以后支持MultiDelimit 阅读全文
posted @ 2022-09-29 11:07 whiteY 阅读(430) 评论(0) 推荐(0) 编辑
摘要:分析静态表hive数据 ANALYZE TABLE cmbh_log.bus_user_info COMPUTE STATISTICS; 修复hive表结构 msck repair table cmbh_log.BUS_USER_INFO; 阅读全文
posted @ 2022-06-07 17:13 whiteY 阅读(90) 评论(0) 推荐(0) 编辑
摘要:##hive窗口函数 ###需求: 需要取出一批数据里边指定key出现时间最早的那条记录。 根据serial_number进行分组,bus_time进行排序,输出同一个key的排序rank row_number() over (partition by a.serial_number order b 阅读全文
posted @ 2020-11-12 16:40 whiteY 阅读(47) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示