随笔分类 -  HBase

HBase-存储-KeyValue格式
摘要:HBase-存储-KeyValue格式 本质上,HFile中的每个KeyValue都是一个低级的字节数组,它允许零复制访问数据。 KeyValue格式如下 该结构以两个分别表示键长度(Key Length)和值长度(Value Length)的定长数字开始。有了这个信息,用户就可以在数据中跳跃,例如 阅读全文

posted @ 2018-10-10 14:47 嘣嘣嚓 阅读(2004) 评论(0) 推荐(0) 编辑

HBase-存储-HFile格式
摘要:HBase-存储-HFile格式 实际的存储文件功能是由HFile类实现的,它被专门创建以达到一个目的:有效地存储HBase的数据。它们基于Hadoop的TFile类,并模仿Google的BigTable架构使用的SSTable格式。文件格式的详细信息如下图 这些文件是可变长度的,唯一固定的块是Fi 阅读全文

posted @ 2018-10-10 14:46 嘣嘣嚓 阅读(1213) 评论(0) 推荐(0) 编辑

HBase-存储-文件存储结构、拆分、合并
摘要:HBase-存储-文件存储结构、拆分、合并 HBase使用一个HDFS中可配置的根目录,默认设为“/hbase”。可使用hadoop fs -lsr /hbase查看目录结构,文件可以被分为两类,一类位于HBase根目录下,另一类位于根目录中的表目录下。 Flush命令可以将内存中的数据写到存储文件 阅读全文

posted @ 2018-10-10 14:43 嘣嘣嚓 阅读(607) 评论(0) 推荐(0) 编辑

HBase-存储-写路径
摘要:写路径 当用户向HRegionServer发起put请求时,其会将请求交给对应的HRegion实例来处理。第一步是要决定数据是否需要写到由HLog类实现的预写日志中。WAL是标准的Hadoop SequenceFile,并且存储了HLogKey实例。这些键包括序列号和实际数据,所以在服务器崩溃时可以 阅读全文

posted @ 2018-10-10 14:41 嘣嘣嚓 阅读(427) 评论(0) 推荐(0) 编辑

HBase-存储-概览
摘要:概览 HBase主要处理两种文件:一种是预写日志(Write-Ahead Log,WAL),另一种是实际的数据文件。这两种文件主要由HRegionServer管理。在某些情况下,HMaster也可以进行一些底层的文件操作。当存储数据到HDFS中时,用户可能注意到实际的数据文件会被切分成更小的块。也正 阅读全文

posted @ 2018-10-10 14:40 嘣嘣嚓 阅读(189) 评论(0) 推荐(0) 编辑

HBase-集群状态信息
摘要:代码如下 输出如下 阅读全文

posted @ 2018-09-13 10:53 嘣嘣嚓 阅读(440) 评论(0) 推荐(0) 编辑

HBase-修改表结构
摘要:HBase修改表结构 阅读全文

posted @ 2018-09-12 16:26 嘣嘣嚓 阅读(396) 评论(0) 推荐(0) 编辑

HBase-建表(普通建表及预分区建表)
摘要:还有createTableAsync方法,这个方法使用表描述符和预拆分的region边界作为参数,并进行异步建表,但执行过程与createTable殊途同归 同步模式仅仅是异步模式的简单封装,增加了不断检查这个任务是否已经完成的循环操作。 阅读全文

posted @ 2018-09-12 11:09 嘣嘣嚓 阅读(3777) 评论(0) 推荐(0) 编辑

HBase-协处理器详解及实现
摘要:协处理器(coprocessor) 把一部分计算移动到数据的存放端。 实例:HBase添加solr二级索引详细代码 简介 协处理器允许用户在region服务器上运行自己的代码,允许用户执行region级别的操作,并且可以使用与RDBMS中触发器(trigger)类似的功能。在客户端,用户不用关心操作 阅读全文

posted @ 2018-09-03 11:25 嘣嘣嚓 阅读(9382) 评论(0) 推荐(1) 编辑

HBase-过滤器(各种过滤器及代码实现)
摘要:过滤器简介 HBase过滤器提供了非常强大的特性来帮助用户提高其处理表中数据的效率。 HBase中两种主要的数据读取函数是get和scan,它们都支持直接访问数据和通过指定起止行键访问数据的功能。可以再查询中添加更多的限制条件来减少查询得到的数据量,这些限制可以使指定列族、列、时间戳以及版本号。 所 阅读全文

posted @ 2018-08-31 10:05 嘣嘣嚓 阅读(2425) 评论(0) 推荐(1) 编辑

HBase-scan简介及优化(缓存与批量处理)
摘要:扫描(scan) 这种技术类似于数据库系统中的游标(cursor),并利用到了HBase提供的底层顺序存储的数据结构。 扫描操作的使用跟get方法非常类似。由于扫描操作的工作方式类似于迭代器,所以用户无需调用scan方法创建实例,只需要调用HTable的getScanner方法,此方法在返回真正的扫 阅读全文

posted @ 2018-08-28 17:47 嘣嘣嚓 阅读(2298) 评论(1) 推荐(1) 编辑

HBase协处理器的使用(添加Solr二级索引)
摘要:给HBase添加一二级索引,HBase协处理器结合solr 代码如下 Solr代码处理如下 协处理器使用步骤如下 1.代码打jar包,并上传至HDFS 2.创建HBase表并添加协处理器,如下 3.测试 此时,可通过HBase日志查看协处理器的处理情况。 没错误的情况下,Solr中应该已经也有数据了 阅读全文

posted @ 2018-08-06 16:49 嘣嘣嚓 阅读(954) 评论(0) 推荐(0) 编辑

HBase常用操作-HBaseUtil
摘要:package com.zhen.hbase; import java.io.IOException; import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.HashSet; import java.util.List; import java.ut... 阅读全文

posted @ 2018-06-20 20:44 嘣嘣嚓 阅读(1050) 评论(0) 推荐(0) 编辑

HBase启动后端口60010无法访问
摘要:配置好HBase后,想从浏览器通过端口60010看下节点情况,但是提示无法访问 在服务器上netstat -natl|grep 60010 发现并没有60010端口 原来是因为HBase 1.0 之后的版本都需要在hbase-site.xml中配置端口,如下 重新启动HBase,在浏览器再次访问,就 阅读全文

posted @ 2017-09-05 22:27 嘣嘣嚓 阅读(2265) 评论(0) 推荐(0) 编辑

HBase简介
摘要:1.HBase简介 HBase – Hadoop DataBase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用hadoop hdfs作为其文件存储系统,利用hadoop mapreduce来处理HBASE中的海量数据,利用zookeeper作为其分布式协同服务 主要用来存储 阅读全文

posted @ 2017-09-03 22:56 嘣嘣嚓 阅读(302) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示