北漂屌丝 - 博客园

2019年7月1日

摘要： RowKey 决定一行数据按照字典顺序排序的 RowKey只能存储64k的字节数据 RowKey 决定一行数据按照字典顺序排序的 RowKey只能存储64k的字节数据决定一行数据按照字典顺序排序的 RowKey只能存储64k的字节数据 Column Family列族 & qualifier列阅读全文

posted @ 2019-07-01 20:43 北漂屌丝阅读(186) 评论(0) 推荐(0) 编辑

HBASE 架构

摘要： Client 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个活跃HMaster 存贮所有HRegion的寻址入口实时监控HRegionServer的上线和下线信息，并实时通知HMaster 存储HBase的schema和table 阅读全文

posted @ 2019-07-01 20:36 北漂屌丝阅读(145) 评论(0) 推荐(0) 编辑

2019年6月28日

hive脚本运行

摘要：说明： 1、-i 从文件初始化 HQL 2、-e 从命令行执行指定的 HQL 3、-f 执行 HQL 脚本 4、-v 输出执行的 HQL 语句到控制台 5、-p connect to Hive Server on port number 6、-hiveconf x=y（Use this to set 阅读全文

posted @ 2019-06-28 08:14 北漂屌丝阅读(732) 评论(0) 推荐(0) 编辑

hive视图

摘要： hive视图和关系型数据库中的普通视图一样不支持物化视图，只能查询不能做加载数据操作视图的创建，只是保存一份元数据，查询视图时才执行对应的子查询 view定义中若包含了ORDER BY/LIMIT语句，当查询视图时也进行ORDER BY/LIMIT语句操作，view当中定义的优先级更高 vie 阅读全文

posted @ 2019-06-28 08:12 北漂屌丝阅读(513) 评论(0) 推荐(0) 编辑

HIVE 自定义函数

摘要：用户自定义函数分为以下三种： UDF（User-Defined-Function）一进一出 UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于：count/max/min UDTF（User-Defined Table-Generating 阅读全文

posted @ 2019-06-28 07:30 北漂屌丝阅读(198) 评论(0) 推荐(0) 编辑

Beeline 用法

摘要： Beeline 要与HiveServer2配合使用服务端启动hiveserver2 ，客户的通过beeline两种方式连接到hive 1、beeline -u jdbc:hive2://localhost:10000/default -n root 2、beelinebeeline> !conne 阅读全文

posted @ 2019-06-28 07:23 北漂屌丝阅读(9105) 评论(0) 推荐(1) 编辑

2019年6月27日

HIVE 分区表

摘要：在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中，目录名为“分区键=键值”。其中需要注意的是分区键的值不一定要基于表的某一列（字段），它可以指定任意值，只要查询的时候指定相应的分区键来查询即可。我们可以对分区进行添加、删除、重命名、清空等操作。hive中阅读全文

posted @ 2019-06-27 21:02 北漂屌丝阅读(840) 评论(0) 推荐(0) 编辑

HIVE 内部表和外部表

摘要：区别：删除内部表，删除表元数据和数据删除外部表，删除元数据，不删除数据区别：删除内部表，删除表元数据和数据删除外部表，删除元数据，不删除数据删除内部表，删除表元数据和数据删除外部表，删除元数据，不删除数据选择：如果数据的所有处理都在 Hive 中进行，那么倾向于选择内部表如果 Hive 和其他阅读全文

posted @ 2019-06-27 20:57 北漂屌丝阅读(876) 评论(0) 推荐(0) 编辑

Hive的数据组织

摘要： 1、Hive的数据组织包括数据库、表、视图、分区、分桶和表数据等。数据库，表，分区等等都对应 HDFS上的一个目录。分桶和表数据对应 HDFS 对应目录下的文件。 2、Hive 中所有的数据都存储在 HDFS 中，没有专门的数据存储格式，因为 Hive 是读模式（Schema On Read），可阅读全文

posted @ 2019-06-27 20:52 北漂屌丝阅读(429) 评论(0) 推荐(0) 编辑

HIVE架构

摘要：注：阅读全文

posted @ 2019-06-27 20:39 北漂屌丝阅读(158) 评论(0) 推荐(0) 编辑

beipiaodiaosi