zookeeper:
分布式协同服务，负责处理分布式框架所产生的一些问题
分布式框架：
可扩展性
透明性
高可靠性
分布式框架的弊端：
不一致性：单个节点数据的缺失，处理数据
竞态条件：多个节点同时处理一个只需要一个节点处理的数据
死锁： 两个节点互相等待对方完成
zk为了解决问题能提供什么服务？
名字服务： 标识集群中的所有节点，(节点能够向其注册并产生唯一标识)
配置管理： 存储配置文件，以便共享
集群管理： 添加或删除节点同时，事实更新集群信息
领袖推选机制：
锁和同步服务： 当文件进行修改，会将其进行加锁，防止多用户同时写入
高有效性数据注册：
zk：
follower
leader
推荐配置奇数个节点：
(n-1)/2 个节点挂掉，仍能提供服务，超过则挂掉 //奇数
n/2 个节点挂掉，不能提供服务， //偶数
2888：leader独有端口，负责和follower进行通信
3888：负责leader选举的端口
2181：client端口
zk启动：
zkServer.sh start //启动zk
stop
status
zkCli.sh //启动本地zk客户端
zkCli.sh -server s102:2181 //启动远程zk客户端
zk的节点和数据，是zk的目录结构
节点 数据
/ 'tom'
/a/b ...
/aaa
create /a '' //创建节点：持久节点 客户端断开不会自动删除
create /a -e '' //创建节点：临时节点 客户端断开会自动删除
create /a -s '' //创建节点：序列节点 在节点后加上10位的自增字段
rmr /a/b/c //递归删除
delete /a //不能递归
ls / //列出孩子节点
stat / //查询节点状态，不包括数据
get / //查询数据并返回状态
set / //修改节点数据
使用zk对hdfs实现自动容灾：hdfs-site.xml
<!-- =======================配置hdfs自动容灾======================= -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>s102:2181,s103:2181,s104:2181</value>
</property>
0、启动zk，不用启动hdfs进程
1、配置文件，如上
2、分发hdfs-site.xml
3、hdfs zkfc -formatZK
4、启动hdfs进程
zkfc进程：zookeeper failover controller //zk容灾管理器
初始化journalnode方法：关闭所有namenode进程
hdfs namenode -initializeSharedEdits
hadoop ha的切换：
================================
nn1 //s101
nn2 //s105
hdfs haadmin -transitionToActive [--forcemanual] nn1 //强制切换
hdfs haadmin -transitionToStandby nn1
hdfs haadmin -getServiceState nn1
无法将两个namenode处于standby或active状态
resourcemanager配置高可用以及自动容灾：yarn-site.xml
==============================================
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>mycluster</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>s101</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>s105</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>s101:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>s105:8088</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>s102:2181,s103:2181,s104:2181</value>
</property>
0、zk保持开启，yarn不要启动
1、配置文件，如上
2、分发文件yarn-site.xml
3、在/soft/hadoop/etc/hadoop下添加rm_hosts文件，内容如下
s101
s105
4、修改/soft/hadoop/sbin/start-yarn.sh倒数第五行，改为
"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts rm_hosts start resourcemanager
修改/soft/hadoop/sbin/stop-yarn.sh倒数第五行，改为
"$bin"/yarn-daemons.sh --config $YARN_CONF_DIR --hosts rm_hosts stop resourcemanager
5、分发以上三个配置文件
6、start-yarn.sh并查看8088端口，可看出一个节点为active模式，另一个为standby
重新格式化HA模式的hadoop集群：
===========================================
1、停止进程：
stop-all.sh //停止hadoop进程
xzk.sh stop //停止zk进程
2、将s101-s105的临时(工作)目录删除
xcall.sh "rm -rf ~/hadoop/*"
3、在s102-s104节点启动journalnode //s101
hadoop-daemons.sh start journalnode
4、格式化s101的namenode
hdfs namenode -format
5、将s101的工作目录分发到s105
rsync -r ~/hadoop centos@s105:~/
6、启动zk
7、启动hadoop
hadoop进程：
slave:s102 s103 s104
s101和s105:
namenode
resourcemanager
DFSZKFailoverController(zkfc)
s102-s104:
datanode
nodemanager
journalnode
zk进程
s102-s104:
QuorumPeerMain
