05 2017 档案

HBase 1亿多过车数据测试随笔
摘要：硬件环境： HMaster为虚拟机 配置低 三台RangeServer为实体机 所有例子进行测试，同例子执行时间浮动200毫秒上下(秒出的除外) 每行字段数量：11个 测试全部通过HBase Java Api执行得出 没有压缩： card_base：单列族 行数：1.8亿左右(数据情况，随机模拟17 阅读全文
posted @ 2017-05-27 11:45 黑道撒加 阅读(334) 评论(0) 推荐(0) 编辑
流式处理3个框架~
摘要：流式大数据处理的三种框架:Storm,Spark和Samza 阅读全文
posted @ 2017-05-25 18:34 黑道撒加 编辑
HIVE-ORC表一些知识点
摘要：本文在Hive-ORC文件存储格式的理论基础上，进一步分析一个实际的Hive ORC表中的数据存储形式。 一、表结构 库名+表名：fileformat.test_orc 在hive中命令desc formatted fileformat.test_orc;的结果如下图： 根据上图中的location 阅读全文
posted @ 2017-05-25 18:20 黑道撒加 阅读(3781) 评论(0) 推荐(0) 编辑
HBase 列族的概念
摘要：HRegionServer内部管理了一系列HRegion对象，每个HRegion对 应了table中的一个region，HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元， 阅读全文
posted @ 2017-05-25 16:48 黑道撒加 阅读(868) 评论(0) 推荐(0) 编辑
HBase梳理材料
摘要：Hbase存储详解 started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital Hbase prototype created as Hadoop contrib 2007.10 First us 阅读全文
posted @ 2017-05-25 16:39 黑道撒加 阅读(110) 评论(0) 推荐(0) 编辑