随笔分类 - 1010 Kafka
摘要：1. 什么是KafkaConsumer? 应用程序使用KafkaConsul'le 「向Kafka 订阅主题，并从订阅的主题上接收消息。Kafka的消息读取不同于从其他消息系统读取数据，它涉及了一些独特的概念和想法。 1.1 消费者和消费者群组 单个的消费者就跟前面的消息系统的消费者一样，创建一个消
阅读全文
摘要：1. Kafka的Producer 不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下： 2. 添加依赖 pom.xml文件如下： <!-- https://mvnrepository.com/artifact/org.a
阅读全文
摘要：1. Pull vs Push Producer主动的通过push将消息发布到Broker上，Consumer通过Pull的的方式从Broker消息消息。 通过Push的方式由于是一有消息就推到Broker,所以极大的保证了消息实时性，但是在某些情况下，可能由于Consumer网络，或是其他原因倒是
阅读全文
摘要：1. Zookeeper的基本操作 zookeeper中的节点可以持久化/有序的两个维度分为四种类型： PERSIST：持久化无序（保存在磁盘中） PERSIST_SEQUENTIAL：持久化有序递增 EPHEMERAL：非持久化的无序的，保存在内存中，当客户端关闭后消失。 EPHEMERAL_SE
阅读全文
摘要：1. CAP理论 1.1 Cosistency(一致性) 通过某个节点的写操作结果对后面通过其他节点的读操作可见。 如果更新数据后，并发访问的情况下可立即感知该更新，称为强一致性 如果允许之后部分或全部感知不到该更新，称为弱一致性。 若在之后的一段时间（通常该时间不是固定的）后，一定可以感知到该更新
阅读全文
摘要：1. 架构图 一个Kafka集群中包含若干个Broker(消息实例)，Kafka支持Broker横向扩展，Broker越多，吞吐量越大，同时也包含了若干个Producer(可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等）和若干个Consumer(消费者)以及一
阅读全文
摘要：1. Kafka简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Pro
阅读全文
