摘要: [版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/51675005 作者: 朱培 ID:sdksdk0 Hive环境的搭建在这里也不重复说了,安装配置可以查看我的这篇文... 阅读全文
posted @ 2016-06-14 23:05 朱培 阅读(2268) 评论(0) 推荐(0) 编辑
摘要: 这个比上次那个要复杂一些,主要是加了zookeeper和两台namenode的配置,同时使用这种方式,可以解决服务器的脑裂问题。hdfs的HA机制 NameNode服务器一台是ACTIVE和一台是STANDBY。通过Qjournal(日志管理系统) 使用zkfc(基于zookeeper失败切换控制)。如何防止脑裂现象: 当ACTIVE假死的时候,STANDBY的zkfc会发出指令 ssh kill-9 namenode 返回0(成功杀死,返回1则杀死失败)的时候再去通知第二台namenode去切换状态。 若无返回码的时候(超时未响应),则启动proweroff.sh 阅读全文
posted @ 2016-06-14 20:26 朱培 阅读(5145) 评论(0) 推荐(0) 编辑
摘要: 今天分享的是大数据实践的zookeeper。 zookeeper内部就是一个集群,主节点是选举出来的,外部看起来就像只有一台一样,保存的是一份状态数据。 做分布式应用协调的时候,可以降低开发难度。 具有高可用性,松耦合交互方式。二、主要应用: 1、集群管理:规定编号最小的为master,所以当我们对SERVERS节点做监控的时候,得到服务器列表,只要所有集群机器逻辑认为最小编号节点为master,那么master就被选出,而这个master宕机的时候 阅读全文
posted @ 2016-06-14 19:39 朱培 阅读(7094) 评论(0) 推荐(0) 编辑