代码改变世界

随笔档案-2013年2月26日

hive动态分区与静态分区

2013-02-26 15:39 by java20130722, 907 阅读, 收藏, 编辑
摘要: HIVE分区,实际上是通过一个路径来标识的,而不是在物理数据中。比如每天的数据,可能分区是pt=20121023这样,那么路径中它就会变成:/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是,如果我们需要取特定分区的数据,只需要把这个路径下的数据取出来就可以了,不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区,比如商品信息,我想根据它是否在线分成两个分区,这样后续如果要取在线商品,就只需要从在线的分区获取即可。动态分区可以通过下面的设置来打开:[sql]view plaincopysethive.exec.dynamic. 阅读全文

hive知识

2013-02-26 14:49 by java20130722, 181 阅读, 收藏, 编辑
摘要: Hive常用的SQL命令操作创建表hive> CREATE TABLE pokes (foo INT, bar STRING);创建表并创建索引字段dshive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);显示所有表hive> SHOW TABLES;查看表结构hive> describe tablename;按正条件(正则表达式)显示表,hive> SHOW TABLES '.*s';表添加一列hive> ALTER TABLE pokes A 阅读全文
点击右上角即可分享
微信分享提示