随笔分类 - Kafka
摘要：<!-- Start PSA Section --> <!-- P&S box is temporary disabled(IFQ_OPS-2624) --> <!-- End PSA Section --> 原文链接：http://www.infoq.com/cn/articles/depth-i
阅读全文
摘要：数据存储格式 Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。一个Topic可以分成多个Partition，而一个Partition物理上由多个Segment组成。 Segment分2部分：索引文件和数据文件。索引文件保存元数据，记录了消息在数据文件中的偏移（offset
阅读全文
摘要：引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看
阅读全文
摘要：原标题：Kafka如何做到1秒处理1500万条消息？ Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New Relic
阅读全文
摘要：Maven 生产者Producer 消费者Consumer
阅读全文
摘要：首先是启动一个生产者 启动配置参数如下所示： acks参数： 在考虑请求完成之前，生产者要求leader收到的确认数量，这将控制发送的记录的持久性。 acks=0如果设置为零，则生产者不会等待来自服务器的任何确认。该记录将被立即添加到套接字缓冲区并被视为已发送。在这种情况下，retries不能保证服
阅读全文
摘要：一、基本概念 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将
阅读全文
摘要：Kafka剖析（一）：Kafka背景及架构介绍 Kafka设计解析（二）：Kafka High Availability （上） Kafka设计解析（三）：Kafka High Availability （下） Kafka设计解析（四）：Kafka Consumer解析 Kafka设计解析（五）：K
阅读全文
摘要：Kafka作为当下流行的高并发消息中间件，大量用于数据采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的问题，最常见的就是丢包，重发问题。 1、丢包问题：消息推送服务，每天早上，手机上各终端都会给用户推送消息，这时候流量剧增，可能会出现kafka发送数据过快，导致服务器网
阅读全文
