北漂屌丝 - 博客园

2019年6月20日

摘要： Zookeeper的核心是原子广播，这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式：恢复模式无主，无服务选举leader广播模式主从模式 leader维护事物的唯一和有序性队列机制无主，无服务选举leader 主从模式 leader维护事阅读全文

posted @ 2019-06-20 17:19 北漂屌丝阅读(143) 评论(0) 推荐(0) 编辑

redis数据结构类型

摘要： redis支持的数据结构类型丰富，有字符串（strings），散列（hashes），列表（lists），集合（sets），有序集合（sorted sets），位图（ bitmaps），hyperloglogs 和地理空间（geospatial）索引半径查询。字符串：一种最基本的Redis值类阅读全文

posted @ 2019-06-20 15:49 北漂屌丝阅读(209) 评论(0) 推荐(0) 编辑

2019年6月19日

CAP 定理

摘要：分布式系统的最大难点，就是各个节点的状态如何同步。CAP 定理是这方面的基本定理，也是理解分布式系统的起点。一、分布式系统的三个指标 ConsistencyAvailabilityPartition tolerance Consistency Availability Partition tole 阅读全文

posted @ 2019-06-19 19:58 北漂屌丝阅读(179) 评论(0) 推荐(0) 编辑

2019年6月18日

mapreduce 实现好友推荐

摘要：假设用户A有好友A1，A2，A3，则A1，A2，A3相互之间都可能通过好友A认识，是潜在的好友关系。如果用户B有好友A1，A2，B1，则A1，A2，B1相互之间都可能通过好友B认识。如下图所示：如上图所示，A1，A2在潜在好友列表中出现2次，说明A1，A2有2个共同好友，在上图中即为A，B。当两个阅读全文

posted @ 2019-06-18 19:53 北漂屌丝阅读(523) 评论(0) 推荐(0) 编辑

NullWritable

摘要： NullWritable是Writable的一个特殊类，实现方法为空实现，不从数据流中读数据，也不写入数据，只充当占位符，如在MapReduce中，如果你不需要使用键或值，你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。阅读全文

posted @ 2019-06-18 08:50 北漂屌丝阅读(307) 评论(0) 推荐(0) 编辑

2019年6月14日

YARN 架构

摘要： 1、ResourceManager（RM） ResourceManager 将各个资源部分（计算、内存、带宽等）精心安排给基础 NodeManager（YARN 的每节点代理）。ResourceManager 还与 ApplicationMaster 一起分配资源，与 NodeManager 一起启阅读全文

posted @ 2019-06-14 07:43 北漂屌丝阅读(186) 评论(0) 推荐(0) 编辑

2019年6月12日

ssh 免密登录

摘要：通过命令”ssh-keygen -t rsa“ 生成之后会在用户的根目录生成一个 “.ssh”的文件夹进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥id_rsa : 生成的私钥文件id_rsa.pub ：生成的公钥文阅读全文

posted @ 2019-06-12 13:59 北漂屌丝阅读(127) 评论(0) 推荐(0) 编辑

Split ，HDFS Block

摘要： HDFS Block 和 Split 是一对多的关系；HDFS block 是数据的物理表示，而 Split 是 block 中数据的逻辑表示； HDFS block 是数据的物理表示，而 Split 是 block 中数据的逻辑表示；阅读全文

posted @ 2019-06-12 08:47 北漂屌丝阅读(303) 评论(0) 推荐(0) 编辑

hdfs 数据流单位 block、packet与chunk

摘要： block、packet与chunk 在DFSClient写HDFS的过程中，有三个需要搞清楚的单位：block、packet与chunk； block是最大的一个单位，它是最终存储于DataNode上的数据粒度，由dfs.block.size参数决定，默认是64M；注：这个参数由客户端配置决定；p 阅读全文

posted @ 2019-06-12 08:44 北漂屌丝阅读(1280) 评论(0) 推荐(0) 编辑

DataNode 工作机制

摘要：一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳 DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息心跳是每3秒一次，心跳返回结果带有NameNode 阅读全文

posted @ 2019-06-12 08:39 北漂屌丝阅读(251) 评论(0) 推荐(0) 编辑

beipiaodiaosi