06 2022 档案

Hive的数据压缩、Hive的存储格式

摘要：数据压缩作用： 1、Map阶段对数据进行压缩，则可以减少Map和Reduce之间数据的传输量，提高执行效率 2、Reduce阶段的输出结果压缩，可以极大的节省磁盘空间，同时hive可以直接识别压缩文件 -- 操作一：开启Map端压缩 -- 1）开启hive中间传输数据压缩功能 set hive.ex 阅读全文

posted @ 2022-06-12 17:03 景、阅读(390) 评论(0) 推荐(0) 编辑

SQL JOINS

摘要：阅读全文

posted @ 2022-06-12 16:14 景、阅读(15) 评论(0) 推荐(0) 编辑

hive 开窗函数、自定义函数

摘要：-- 开窗分组排序 -- row_number() over(partition by ... order by ...) 组内的排名序号 1 2 3 4 5 6 7 -- rank() over(partition by userid order by pv desc) 组内的排名序号 1 2 阅读全文

posted @ 2022-06-12 15:54 景、阅读(203) 评论(0) 推荐(0) 编辑

Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

摘要：1.在目录：/export/server/hadoop-3.1.4/etc/hadoop 下修改文件：hadoop-env.sh export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS" 分发给各个主机：scp hadoop-env.sh n 阅读全文

posted @ 2022-06-05 17:43 景、阅读(195) 评论(0) 推荐(0) 编辑