08 2021 档案
摘要：查看某个某个字段的注释名等 select a.owner as 用户名 ,a.TABLE_NAME as 表名 ,b.COMMENTS as 表注释名 ,a.COLUMN_NAME as 字段名 ,a.comments as 字段注释 from dba_col_comments a join dba
阅读全文
摘要：需求场景，组内排序，例如统计某个用户前10次消费金额，如求某个相同id或组内的top值 步骤一，创建测试表 create table tmp_partition_test ( name string, subject string, score int ) 步骤二，插入测试数据 insert int
阅读全文
摘要：Group By 默认情况下，Map阶段同一Key数据分发给一个reduce，当一个key数据过大时就倾斜了。 但并不是所有的聚合操作都需要在Reduce端完成，很多聚合操作都可以先在Map端进行部分聚合，最后在Reduce端得出最终结果。 1）开启Map端聚合参数设置 （1）是否在Map端进行聚合
阅读全文
摘要：MapJoin 如果不指定 MapJoin 或者不符合 MapJoin 的条件，那么Hive解析器会将 Join 操作转换成 Common Join，即：在 Reduce 阶段完成 join。容易发生数据倾斜。可以用 MapJoin 把小表全部加载到内存在 map 端进行 join ，避免 redu
阅读全文
