随笔分类 -  hive

9.Hive Metastore Administration
摘要:前言metastore参数metastore的基本参数metastore的额外参数客户端参数使用zk自动发现mestastore启动hive metastore服务 前言 本节讲metastore相关的知识. hive所有的元数据都是通过matestore管理的.hive cli/hiveserver2包含了内置的metastore. metastore参数 metastore的基本参数... 阅读全文

posted @ 2019-01-24 16:31 月饼馅饺子 阅读(1021) 评论(0) 推荐(0)

3.控制hive map reduce个数
摘要:参考: https://blog.csdn.net/wuliusir/article/details/45010129 https://blog.csdn.net/zhong_han_jun/article/details/50814246 1.split的计算方式: splitsize = max(splitsize,min(blocksize,filesize/NUMmaps)) N... 阅读全文

posted @ 2019-01-24 14:11 月饼馅饺子 阅读(1887) 评论(0) 推荐(0)

安装HIVE
摘要:参考:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 1.下载hive安装包 到apache官网或者其它地方下载hive压缩包,然后解压到/usr/local/hive-2.0.02.依赖 hive依赖以下内容:1)java 1.7或者更高版本2)hadoop2.x,hadoop1.x(只支持hive1)3... 阅读全文

posted @ 2017-08-30 23:11 月饼馅饺子 阅读(134) 评论(0) 推荐(0)

分区表
摘要:create table IF NOT EXISTS p (//创建分区表id int,dt string,other string) PARTITIONED BY(year string)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;hive> desc p; //查看表结构OKid int ... 阅读全文

posted @ 2017-08-30 23:10 月饼馅饺子 阅读(1258) 评论(0) 推荐(0)

hive创建外部表
摘要:Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED... 阅读全文

posted @ 2017-08-30 23:10 月饼馅饺子 阅读(647) 评论(0) 推荐(0)

导航