10 2018 档案

ZooKeeper-znode概念与使用
摘要:可以将ZK看作一个具有高可用性特征的文件系统。这个文件系统中没有文件和目录,而是统一使用节点(znode)的概念,称为znode。znode既可以作为保存数据的容器(如同文件),也可以作为保存其他znode的容器(如同目录)。所有的znode构成了一个层次化的命名空间,一种自然的建立组成员列表的方式 阅读全文

posted @ 2018-10-13 16:46 嘣嘣嚓 阅读(1073) 评论(0) 推荐(0) 编辑

ZooKeeper-安装和运行
摘要:ZooKeeper安装和运行 1. 下载安装包 zookeeper-3.4.9.tar.gz 2. 解压 tar -zxvf zookeeper-3.4.9.tar.gz ZooKeeper提供了几个能够运行服务并与之交互的二进制可执行文件,可以很方便地将包含这些二进制文件的目录加入命令行路径 3. 阅读全文

posted @ 2018-10-13 14:20 嘣嘣嚓 阅读(282) 评论(0) 推荐(0) 编辑

HBase-存储-KeyValue格式
摘要:HBase-存储-KeyValue格式 本质上,HFile中的每个KeyValue都是一个低级的字节数组,它允许零复制访问数据。 KeyValue格式如下 该结构以两个分别表示键长度(Key Length)和值长度(Value Length)的定长数字开始。有了这个信息,用户就可以在数据中跳跃,例如 阅读全文

posted @ 2018-10-10 14:47 嘣嘣嚓 阅读(2004) 评论(0) 推荐(0) 编辑

HBase-存储-HFile格式
摘要:HBase-存储-HFile格式 实际的存储文件功能是由HFile类实现的,它被专门创建以达到一个目的:有效地存储HBase的数据。它们基于Hadoop的TFile类,并模仿Google的BigTable架构使用的SSTable格式。文件格式的详细信息如下图 这些文件是可变长度的,唯一固定的块是Fi 阅读全文

posted @ 2018-10-10 14:46 嘣嘣嚓 阅读(1213) 评论(0) 推荐(0) 编辑

HBase-存储-文件存储结构、拆分、合并
摘要:HBase-存储-文件存储结构、拆分、合并 HBase使用一个HDFS中可配置的根目录,默认设为“/hbase”。可使用hadoop fs -lsr /hbase查看目录结构,文件可以被分为两类,一类位于HBase根目录下,另一类位于根目录中的表目录下。 Flush命令可以将内存中的数据写到存储文件 阅读全文

posted @ 2018-10-10 14:43 嘣嘣嚓 阅读(607) 评论(0) 推荐(0) 编辑

HBase-存储-写路径
摘要:写路径 当用户向HRegionServer发起put请求时,其会将请求交给对应的HRegion实例来处理。第一步是要决定数据是否需要写到由HLog类实现的预写日志中。WAL是标准的Hadoop SequenceFile,并且存储了HLogKey实例。这些键包括序列号和实际数据,所以在服务器崩溃时可以 阅读全文

posted @ 2018-10-10 14:41 嘣嘣嚓 阅读(427) 评论(0) 推荐(0) 编辑

HBase-存储-概览
摘要:概览 HBase主要处理两种文件:一种是预写日志(Write-Ahead Log,WAL),另一种是实际的数据文件。这两种文件主要由HRegionServer管理。在某些情况下,HMaster也可以进行一些底层的文件操作。当存储数据到HDFS中时,用户可能注意到实际的数据文件会被切分成更小的块。也正 阅读全文

posted @ 2018-10-10 14:40 嘣嘣嚓 阅读(189) 评论(0) 推荐(0) 编辑

ZooKeeper-简介
摘要:关于ZooKeeperZooKeeper是Hadoop的分布式协调服务。写分布式应用的主要困难在于会出现“部分失败”(partial failure)。当一条消息在网络中两个节点之间传送时,如果出现网络错误,发送者无法知道接收者是否已经收到这条消息。接收者可能在出现网络错误之前就已经收到这条消息,也 阅读全文

posted @ 2018-10-09 22:21 嘣嘣嚓 阅读(165) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示