随笔分类 - Zookeeper
摘要：通过docker可以从头开始构建集群，也可以将现有集群（配置以及数据）平滑的迁移到docker部署； 1 docker部署zookeeper # usermod -G docker zookeeper# mkdir /data# chown zookeeper.zookeeper /data# ec
阅读全文
摘要：ambari metrics collector内置hbase目录位于 /usr/lib/ams-hbase 配置位于 /etc/ams-hbase/conf 通过ruby启动 /usr/lib/ams-hbase/bin/hirb.rb 实际的启动命令为 /usr/lib/ams-hbase/bi
阅读全文
摘要：有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server，其他server处于standby状态，只有active状态的server允许进行特定的操作；当ac
阅读全文
摘要：spark 2.1.1 一 问题重现 spark-submit --master local[*] --class app.package.AppClass --jars /jarpath/zkclient-0.3.jar --driver-memory 1g app.jar 报错 Java Hot
阅读全文
摘要：kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio
阅读全文
摘要：1 集群配置管理 应用服务器的配置通常会放到properties文件中，格式为： system1.module2.prop3=value4 然后启动的时候加载，这样带来的问题是启动后无法修改，想修改必须要重启应用服务器； 一个简单的替代方式是存放到数据库中，应用服务器每次从数据库中加载配置，这样带来
阅读全文
摘要：提到zookeeper选举算法，就不得不提Paxos算法，因为zookeeper选举算法是Paxos算法的一个变种； Paxos要解决的问题是：在一个分布式网络环境中有众多的参与者，但是每个参与者都不可靠，可能随时掉线等，这时这些参与者如何针对某个看法达成一致； 类似的问题现实生活中有很多，比如一个
阅读全文
摘要：核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态：刚启动LOOKING，follower是FOLLOWING，leader是LEADING，observer是OBSERVIN
阅读全文
摘要：zookeeper3.4.11 http://zookeeper.apache.org/ 一 简介 ZooKeeper is a centralized service for maintaining configuration information, naming, providing dist
阅读全文
摘要：最近hbase集群很多region server挂掉，查看其中一个RegionServer1日志发现，17:17:14挂的时候服务器压力很大，有大量的responseTooSlow，也有不少gc，但是当时内存还有很多剩余，不是因为oom被kill 2018-03-13T17:17:13.372+08
阅读全文
