摘要: 数据压缩作用: 1、Map阶段对数据进行压缩,则可以减少Map和Reduce之间数据的传输量,提高执行效率 2、Reduce阶段的输出结果压缩,可以极大的节省磁盘空间,同时hive可以直接识别压缩文件 -- 操作一:开启Map端压缩 -- 1)开启hive中间传输数据压缩功能 set hive.ex 阅读全文
posted @ 2022-06-12 17:03 景、 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-06-12 16:14 景、 阅读(15) 评论(0) 推荐(0) 编辑
摘要: -- 开窗 分组排序 -- row_number() over(partition by ... order by ...) 组内的排名序号 1 2 3 4 5 6 7 -- rank() over(partition by userid order by pv desc) 组内的排名序号 1 2 阅读全文
posted @ 2022-06-12 15:54 景、 阅读(185) 评论(0) 推荐(0) 编辑