Hive metastore表结构设计分析
摘要：今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录。为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数
阅读全文
posted @
2018-02-19 18:47
松伯
阅读(5721)
推荐(1) 编辑
Hive metastore源码阅读（三）
摘要：上次写了hive metastore的partition的生命周期，但是简略概括了下alter_partition的操作，这里补一下alter_partition,因为随着项目的深入，发现它涉及的地方较多，比如insert into 时如果路径存在情况下会调用alter_partition,调用in
阅读全文
posted @
2017-09-11 01:36
松伯
阅读(1247)
推荐(0) 编辑
Hive metastore源码阅读（二）
摘要：最近随着项目的深入，发现hive meta有些弊端，就是你会发现它的元数据操作与操作物理集群的代码耦合在一起，非常不利于扩展。比如：在create_table的时候同时进行路径校验及创建，如下代码： 所以这是meta无法统一所有元数据的原因么。。其实hive metastore的代码从大的来看，就好
阅读全文
posted @
2017-08-30 03:09
松伯
阅读(4122)
推荐(1) 编辑
Hive metastore源码阅读（一）
摘要：不要问我为什么，因为爱，哈哈哈哈。。。进入正题，最近做项目顺带学习了下hive metastore的源码，进行下知识总结。 hive metastore的整体架构如图： 一、组成结构： 如图我们可以看到，hive metastore的组成结构分为 客户端 服务端 ，那么下来我们逐一进行分析： 1、客
阅读全文
posted @
2017-08-17 02:34
松伯
阅读(3739)
推荐(1) 编辑
hiveql函数笔记（二）
摘要：1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中使用多于一个的函数（DISTINCT。。。）表达式 SELECT count(DISTINCT sy
阅读全文
posted @
2017-03-19 16:19
松伯
阅读(558)
推荐(0) 编辑
hiveql笔记（一）
摘要：1、创建表 create table if not exists mydb.employees{ name String COMMENT 'Employee name', salary FLOAT COMMENT 'Empolyee salary', subordinates APPAY<STRIN
阅读全文
posted @
2017-03-19 12:00
松伯
阅读(474)
推荐(0) 编辑
大数据全体系年终总结
摘要：到年底了，想着总结下所有知识点好了~今年应用的知识点还是很多的~ Hadoop生态圈： 1、文件存储当然是选择Hadoop的分布式文件系统HDFS，当然因为硬件的告诉发展，已经出现了内存分布式系统Tachyon，不论是Hadoop的MapReduce,Spark的内存计算、hive的MapReudu
阅读全文
posted @
2016-12-11 15:54
松伯
阅读(3866)
推荐(0) 编辑
Hive操作表部分总结
摘要：创建表： create table tableName(time INT,userid BIGINT,url STRING,ip STRING COMMENT 'IP Address of the User') COMMENT 'This is the tableName table' PARTIT
阅读全文
posted @
2016-05-18 01:33
松伯
阅读(572)
推荐(0) 编辑
Hbase与hive整合
摘要：//hive与hbase整合create table lectrure.hbase_lecture10(sname string, score int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' whth serdepr...
阅读全文
posted @
2015-10-12 23:22
松伯
阅读(434)
推荐(0) 编辑
