摘要: Hive分区表 在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。Hive可以对数据按照某列或者某些列进行分区管理1、一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。2、表和列名不区分大小写。3、分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在,但是该字段不存放实际的数据内容,仅仅是分区的表示。Hive桶 对于每一个表(table)或者分区,Hive可以.. 阅读全文
posted @ 2013-09-11 09:36 liutoutou 阅读(852) 评论(0) 推荐(0) 编辑
摘要: 1、Hive简介Hive是构建在Hadoop上的数据仓库平台,设计目标是让Hadoop上的数据操作与传统SQL结合,让熟悉SQL人员容易操作Hadoop。Hive可以在HDFS上构建数据仓库来存储结构化数据,提供类似SQL的HiveQL,通过解析,HiveQL在底层被转换为相应的MapReduce操作。2、组成用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 启动的时候,会同时启动一个 Hive 副本。Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在 阅读全文
posted @ 2013-09-11 09:18 liutoutou 阅读(474) 评论(0) 推荐(0) 编辑