随笔分类 -  HBase系列

HBase分布式存储数据库,基于Hadoop
摘要:1. HBase的存储形式 hbase的内部使用KeyValue的形式存储,其key时rowKey:family:column:logTime,value是其存储的内容。 其在region内大多以升序的形式排列,唯一的时logTime是以降序的形式进行排列。 所以,rowKey里越靠近左边的信息越容 阅读全文
posted @ 2019-03-26 18:15 牧梦者 阅读(14409) 评论(2) 推荐(4) 编辑
摘要:1.前提 讲LSM树之前,需要提下三种基本的存储引擎,这样才能清楚LSM树的由来: 哈希存储引擎。 B树存储引擎。 LSM树(Log-Structured Merge Tree)存储引擎。 2. 哈希存储引擎 哈希存储引擎哈希表的持久化实现,支持增、删、改以及随机读取操作,但不支持顺序扫描,对应的存 阅读全文
posted @ 2019-03-25 14:49 牧梦者 阅读(4525) 评论(0) 推荐(0) 编辑
摘要:1. HBase连接的方式概况 主要分为: 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flink集成HBase的方式,最后一种是第三方插件Phoenix集成的JDBC方式,Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意: 阅读全文
posted @ 2019-03-20 16:08 牧梦者 阅读(29141) 评论(38) 推荐(2) 编辑
摘要:1. HBase读写的方式概况 主要分为: 纯Java API读写HBase的方式; Spark读写HBase的方式; Flink读写HBase的方式; HBase通过Phoenix读写的方式; 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flink集成H 阅读全文
posted @ 2019-03-13 23:13 牧梦者 阅读(11590) 评论(9) 推荐(0) 编辑
摘要:1.HBase读写的方式概况 主要分为: 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flink集成HBase的方式,最后一种是第三方插件Phoenix集成的JDBC方式,Phoenix集成的JDBC操作方式也能在Spark、Flink中调用。 注意: 这 阅读全文
posted @ 2019-03-12 15:47 牧梦者 阅读(13568) 评论(2) 推荐(1) 编辑
摘要:1. HBase安装部署 HBase有两种部署模式:单机版模式和集群版模式。无论哪种模式,都需要配置HBase conf目录下的文件。至少,必须在conf/hbase-env.sh文件中添加JAVA_HOME。在hbase-env.sh这个文件中,可以设置HBase的环境变量,如堆内存大小、JVM的 阅读全文
posted @ 2018-04-13 13:06 牧梦者 阅读(6182) 评论(9) 推荐(0) 编辑
摘要:1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-04-13 12:57 牧梦者 阅读(86266) 评论(11) 推荐(21) 编辑