zookeeper - 随笔分类 - duanxz

以zookeeper为注册中心搭建spring cloud环境

摘要：在spring cloud体系中，有多种手段实现注册中心，本例中采用zookeeper作为注册中心的角色。服务提供者向zookeeper注册，服务消费者从zookeeper中发现服务提供者的相关信息，从而远程调用服务提供方。 spring cloud与zookeeper的集成主要依赖spring-c 阅读全文

posted @ 2017-06-22 09:28 duanxz 阅读(1785) 评论(1) 推荐(0) 编辑

kafka之五：如何手动更新Kafka中某个Topic的偏移量

摘要：本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中，有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的，所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法，这里阅读全文

posted @ 2015-08-05 16:49 duanxz 阅读(2332) 评论(0) 推荐(0) 编辑

ZooKeeper 的 Watch 机制是什么？

摘要：Watch 机制的简介 ZooKeeper 提供了分布式数据发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使他们能够做出相应的处理。在 ZooKeeper 中，引入了 Watch 机制来阅读全文

posted @ 2015-03-31 07:37 duanxz 阅读(1204) 评论(0) 推荐(0) 编辑

zk 10之：Curator之三：服务的注册及发现

摘要：Service Discovery 我们通常在调用服务的时候，需要知道服务的地址，端口，或者其他一些信息，通常情况下，我们是把他们写到程序里面，但是随着服务越来越多，维护起来也越来越费劲，更重要的是，由于地址都是在程序中配置的，我们根本不知道远程的服务是否可用，当我们增加或者删除服务，我们又需要到配阅读全文

posted @ 2014-06-16 13:50 duanxz 阅读(4069) 评论(0) 推荐(0) 编辑

zookeeper服务器端管理工具

摘要：zookeeper基本是基于API和console进行znode的操作，并没有一个比较方便的操作界面，这里也发现了taobao 伯岩写的一个工具，可以比较方便的查询zookeeper信息。工具的开发语言主要是node.js(最近比较火)，其标榜的是无阻塞的api使用。其原理主要是基于google的阅读全文

posted @ 2014-06-16 11:29 duanxz 阅读(3730) 评论(0) 推荐(0) 编辑

zk 09之：Curator之二：Path Cache监控zookeeper的node和path的状态

摘要：在实际应用开发中，当某个ZNode发生变化后我们需要得到通知并做一些后续处理，Curator Recipes提供了Path Cache 来帮助我们轻松实现watch ZNode。 Path Cache Path Cache可以监控ZNode子结点的变化，例如：add,update,delete。 A 阅读全文

posted @ 2014-06-13 18:02 duanxz 阅读(2849) 评论(0) 推荐(0) 编辑

分布式一致性协议之：Zab（Zookeeper的分布式一致性算法）

摘要：Zookeeper使用了一种称为Zab（Zookeeper Atomic Broadcast）的协议作为其一致性复制的核心，据其作者说这是一种新发算法，其特点是充分考虑了Yahoo的具体情况：高吞吐量、低延迟、健壮、简单，但不过分要求其扩展性。下面将展示一些该协议的核心内容：另，本文仅讨论Zook 阅读全文

posted @ 2014-06-13 18:01 duanxz 阅读(1325) 评论(0) 推荐(0) 编辑

Zookeeper全解析——Paxos作为灵魂(转)

摘要：原计划在介绍完ZK Client之后就着手ZK Server的介绍，但是发现ZK Server所包含的内容实在太多，并不是简简单单一篇Blog就能搞定的。于是决定从基础搞起比较好。那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server 阅读全文

posted @ 2014-06-13 18:00 duanxz 阅读(306) 评论(0) 推荐(0) 编辑

zookeeper系列之通信模型(转)

摘要：本文的主题就是讲解Zookeeper通信模型，本节将通过一个概要图来说明Zookeeper的通信模型。 Zookeeper的通信架构在Zookeeper整个系统中，有3中角色的服务，client、Follower、leader。其中client负责发起应用的请求，Follower接受client发阅读全文

posted @ 2014-06-13 18:00 duanxz 阅读(516) 评论(0) 推荐(0) 编辑

zk 05之：ZooKeeper的配置

摘要：ZooKeeper 的功能特性通过 ZooKeeper 配置文件来进行控制管理（ zoo.cfg 配置文件）。 ZooKeeper 这样的设计其实是有它自身的原因的。通过前面对 ZooKeeper 的配置可以看出，对 ZooKeeper 集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模阅读全文

posted @ 2014-06-13 17:59 duanxz 阅读(663) 评论(0) 推荐(0) 编辑

ZooKeeper典型应用场景(转)

摘要：ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的阅读全文

posted @ 2014-06-13 17:59 duanxz 阅读(485) 评论(0) 推荐(0) 编辑

zk 04之 Zookeeper Api(java)与应用

摘要：如何使用 Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到阅读全文

posted @ 2014-06-13 17:59 duanxz 阅读(1197) 评论(0) 推荐(0) 编辑

zk 01之 ZooKeeper概述

摘要：一、Zookeeper产生的背景 ZooKeeper是–个开放源代码的分布式协调服务，由知名互联网公司雅虎创建，是Google Chubby的源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式–致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ①Z 阅读全文

posted @ 2014-06-13 17:59 duanxz 阅读(911) 评论(0) 推荐(0) 编辑

zookeeper工作原理

摘要：1、Zookeeper的角色 » 领导者（leader），负责进行投票的发起和决议，更新系统状态 » 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票 » Observer可以接受客户端连阅读全文

posted @ 2014-06-13 17:59 duanxz 阅读(255) 评论(0) 推荐(0) 编辑

zk 02之 Windows安装和使用zookeeper

摘要：本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置. C 阅读全文

posted @ 2014-06-13 17:57 duanxz 阅读(749) 评论(0) 推荐(0) 编辑

zookeeper 大量连接断开重连原因排查

摘要：问题现象最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考： http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后，发现一天的日志量就是100多M，滚动日志一天就阅读全文

posted @ 2014-06-04 18:08 duanxz 阅读(1971) 评论(0) 推荐(0) 编辑

Zookeeper学习(八)：Zookeeper的数据发布与订阅模式

摘要：http://blog.csdn.net/ZuoAnYinXiang/article/category/6104448 1.发布订阅的基本概念 1.发布订阅模式可以看成一对多的关系：多个订阅者对象同时监听一个主题对象，这个主题对象在自身状态发生变化时，会通知所有的订阅者对象，使他们能够自动的更新自己阅读全文

posted @ 2014-02-19 14:46 duanxz 阅读(3186) 评论(0) 推荐(1) 编辑

zk 06之：ZooKeeper命令、命令行工具及简单操作

摘要：常用命令ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令，用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 telnet 或 nc 向 ZooKeeper 提交相应的命令。 ZooKeeper 常用四字命令见下表 1 所示：表 1 ： Zoo 阅读全文

posted @ 2014-01-05 22:45 duanxz 阅读(1189) 评论(0) 推荐(0) 编辑

zk 03之 linux上的zookeeper单机与伪集群安装

摘要：zookeeper的下载地址：http://apache.fayea.com/zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz 1、单机模式安装zookeeper 1.1、创建帐号zk [root@master ~]# useradd -d /opt/ 阅读全文

posted @ 2012-11-07 14:41 duanxz 阅读(757) 评论(0) 推荐(0) 编辑

zk 07之：zookeeper客户端管理工具

摘要：zookeeper 的监控工具公司很多产品会使用zookeeper,比如Meta消息中间件,在测试的过程中,我们经常需要查询zookeeper里面的信息来精确定位问题。目前项目中有开发团队自己写的浏览器node-zk-browser，是基于node.js的express.js框架和node-zoo 阅读全文

posted @ 2012-07-11 14:39 duanxz 阅读(6752) 评论(0) 推荐(0) 编辑

随笔分类 - zookeeper

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论