摘要: #当前没有partition元信息 hive> show partitions cr_cdma_bsi_mscktest; OK Time taken: 0.104 seconds #创建两个分区目录 hive> dfs -mkdir /user/hive/warehouse/cr_cdma_bsi 阅读全文
posted @ 2020-04-01 17:05 马小纪 阅读(605) 评论(0) 推荐(0) 编辑
摘要: 一.总结 分桶是相对分区进行更细粒度的划分。分桶将整个数据内容安装某列属性值得hash值进行区分,如要安装name属性分为3个桶,就是对name属性值的hash值对3取摸,按照取模结果对数据分桶。如取模结果为0的数据记录存放到一个文件,取模为1的数据存放到一个文件,取模为2的数据存放到一个文件。几个 阅读全文
posted @ 2020-04-01 16:45 马小纪 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 前言 用了这么久的Hive,而没有认真的学习和使用过Hive的分区,现在学习记录一下。 分区表一般在数据量比较大,且有明确的分区字段时使用,这样用分区字段作为查询条件查询效率会比较高。Hive分区分为静态分区和动态分区 1、建表语句 先用一个有分区字段的分区表进行学习,静态分区和动态分区的建表语句是 阅读全文
posted @ 2020-04-01 11:03 马小纪 阅读(498) 评论(0) 推荐(0) 编辑