摘要：
什么是MapReduce MapReduce概述 #单节点提升效率可以采用多线程 #多节点提升效率可以采用分布式 MapReduce原理 shuffle过程 阅读全文
摘要：
一、前言 前面学习了Zookeeper服务端的相关细节，其中对于集群启动而言，很重要的一部分就是Leader选举，接着就开始深入学习Leader选举。 二、Leader选举 2.1 Leader选举概述 Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下 阅读全文
摘要：
那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。 先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apach 阅读全文
摘要：
导入依赖--Maven仓库的官网(mvnrepository.com) <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper-client --> <dependency> <groupId>org.apache 阅读全文
摘要：
HA的failover原理 HDFS的federation HDFS的federation架构图 hdfs常见问题 阅读全文
摘要：
HDFS高可用的搭建（HA比较吃资源、一般不用） ##搭建规划 ZK--Zookeeper NN--NameNode DN--DataNode RM--ResourceManager NM--NodeManager JN--JournalNode ZKFC--ZookeeperFailoverCon 阅读全文
摘要：
原理的简单描述 根据非对称加密原理，要使主机A可以免密登录至主机B，那么需要将主机A的公钥放在主机B上，在登录时，主机A用自己的私钥加密登录信息，主机B用保存的A的公钥解锁成功后即可认为是合法登录。 步骤 本地 -- A 远程 -- B 配置步骤 # 1、生成主机A的公私秘钥 ssh-keygen 阅读全文
摘要：
HDFS的HA(High Available) Zookeeper简介 Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC 阅读全文