随笔分类 - Kafka
摘要：一、简介 Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。 流处理平台有以下3个特性： 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进
阅读全文
摘要：一、概述 我们先来回顾一下事务的概念：要么全部成功，要么全部失败！ Kafka 事务也是一样的。 Kafka 0.11.0.0 后，引入了重大特性——幂等性与事务。为什么讲事务还有 Q 一下幂等性呢？因为事务实际上就是基于幂等性实现的，因此，了解事务是如何工作之前我们还得了解幂等性是如何工作的。 本
阅读全文
摘要：Kafka有两个很重要的配置参数，acks与min.insync.replicas.其中acks是producer的配置参数，min.insync.replicas是Broker端的配置参数，这两个参数对于生产者不丢失数据起到了很大的作用.接下来，本文会以图示的方式讲解这两个参数的含义和使用方式。通
阅读全文
摘要：# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this wor
阅读全文
摘要：kafka在生产者发送完一个消息之后，要求broker在规定的时间内Ack应答；如果没有在规定时间内ack；生产者会尝试n次重新发送消息。 acks=1 （默认）Leader会将Record写在其本地日志中；但不会等待所有Follower的完全确认的情况下做出响应，这种情况下，如果Leader在确认
阅读全文
摘要：Kafka定义 KafKa传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 2.8以后的最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform）,被数千家公司用于高性能数据管道、流
阅读全文
