04 2018 档案

kafka消息的处理机制（五）
摘要：这一篇我们不在是探讨kafka的使用，前面几篇基本讲解了工作中的使用方式，基本api的使用还需要更深入的去钻研，多使用才会有提高。今天主要是探讨一下kafka的消息复制以及消息... 阅读全文
posted @ 2018-04-24 23:31 rickiyang 阅读(2435) 评论(1) 推荐(0) 编辑
Paxos算法原理
摘要：1.从ACID到CAP 我们知道传统集中式系统中实现ACID是很简单的，在分布式环境中，涉及到不同的节点，节点内的ACID可以控制，那么节点间的ACID如何控制呢？构建一个可用性和一致性的分布系统成为难题，于是出现了CAP和BASE这样的理论。 CAP定理： CAP告诉我们一个分布式系统不可能同时满 阅读全文
posted @ 2018-04-22 09:52 rickiyang 阅读(1346) 评论(0) 推荐(1) 编辑
kafka同步异步消费和消息的偏移量（四）
摘要：1. 消费者位置(consumer position)因为kafka服务端不保存消息的状态，所以消费端需要自己去做很多事情。我们每次调用poll()方法他总是返回已经保存在生产... 阅读全文
posted @ 2018-04-21 16:28 rickiyang 阅读(3362) 评论(0) 推荐(0) 编辑
kafka客户端和服务端开发(三)
摘要：前面我们已经搭建了kafka的单机和集群环境，分别写了简单的实例代码，对于代码里面使用到的参数并没有做解释。下面我们来详细说一下各个参数的作用。1. 创建kafka生产者kaf... 阅读全文
posted @ 2018-04-17 23:29 rickiyang 阅读(2162) 评论(0) 推荐(0) 编辑
Kafka集群模式安装（二）
摘要：我们来安装Kafka的集群模式，三台机器：192.168.131.128192.168.131.130192.168.131.131Kafka集群需要依赖zookeeper，所... 阅读全文
posted @ 2018-04-16 23:02 rickiyang 阅读(429) 评论(0) 推荐(0) 编辑
Kafka基本知识入门（一）
摘要：1、 基础知识有关RabbitMQ,RocketMQ,Kafka的区别这个网上很多，了解一下区别性能，分清什么场景使用。分布式环境下的消息中间件Kafka做的比较不错，在分布式... 阅读全文
posted @ 2018-04-15 17:38 rickiyang 阅读(650) 评论(0) 推荐(1) 编辑
Zookeeeper应用实践（四）
摘要：zk的应用还是非常广泛的。 1. 分布式锁 单机环境下的锁还是很容易去实现的，但是在分布式环境下一切都变得不是那么简单。zk实现分布式锁的原理还简单，因为在分布式环境中的zk节点的变化会被每一台机器watch，有任何变化都会被通知，所以我们可以利用这个机制： 我们创建一个根节点Lock，在获取锁的时 阅读全文
posted @ 2018-04-14 21:08 rickiyang 阅读(254) 评论(0) 推荐(0) 编辑
Zookeeper的命令行操作（三）
摘要：Zookeeper的命令行操作 1、 ZooKeeper服务命令 在准备好相应的配置之后，可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh statu 阅读全文
posted @ 2018-04-14 21:06 rickiyang 阅读(1585) 评论(0) 推荐(0) 编辑
Zookeeeper环境搭建（二）
摘要：zk一般是有2n+1个节点组成的集群。在Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步；剩下的是follower，提供读服务。(为什么是2n+1个节点请看paxos算法) leader实效后会在follower中重新选举新的leader。（paxos算法） 每个follo 阅读全文
posted @ 2018-04-14 21:05 rickiyang 阅读(300) 评论(0) 推荐(0) 编辑
zookeeper基本知识入门（一）
摘要：之前我们在搭建hadoop分布式环境的时候用到过Zookeeper注册hadoop服务。那么到底Zookeeper在分布式环境中发挥了什么作用呢，这次我们就来讨论这个问题。 在分布式系统中通常都会有多台机器构成一个集群来对外提供服务，对外来说有几台机器在提供服务它并不关心，那么对内而言组成集群的机器 阅读全文
posted @ 2018-04-14 21:03 rickiyang 阅读(617) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示