摘要: 优步是如何用Kafka构建可靠的重试处理保证数据不丢失 在分布式系统中,重试是不可避免的,我们经常使用后台跑定时进行数据同步,同步不成功就实现重试,重试次数多少取决于你追求一致性还是可用性,如果希望两个系统之前无论如何都必须一致,那么你设置重试次数为无限,当然这是理想情况,实际情况是有重试次数限制和 阅读全文
posted @ 2019-07-23 15:45 钢铁侠009 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 1个partition只能被同组的一个consumer消费,同组的consumer则起到均衡效果 消费者多于partition topic: test 只有一个partition创建一个topic——test, bin/kafka-topics.sh --create --zookeeper loc 阅读全文
posted @ 2019-07-23 14:32 钢铁侠009 阅读(427) 评论(0) 推荐(0) 编辑
摘要: java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m:设置JVM最大可用内存为3550M。-Xms3550m:设置JVM促使内存为3550m。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重新分配内存。-Xmn2g:设置年轻代大小为2G。整个 阅读全文
posted @ 2019-07-23 11:43 钢铁侠009 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Prod 阅读全文
posted @ 2019-07-23 11:38 钢铁侠009 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 前言 开源社区有好多优秀的队列中间件,比如RabbitMQ和Kafka,每个队列都貌似有其特性,在进行工程选择时,往往眼花缭乱,不知所措。对于RabbitMQ和Kafka,到底应该选哪个? RabbitMQ架构 RabbitMQ是一个分布式系统,这里面有几个抽象概念。 broker:每个节点运行的服 阅读全文
posted @ 2019-07-23 11:37 钢铁侠009 阅读(285) 评论(1) 推荐(0) 编辑