随笔分类 - kafka
摘要：问题：情况一：创建topic成功，但是produce的时候，却报unknown partition的错误，但zk上却显示了每个partition的leader信息；情况二： 给某个topic增加分区，zk显示已有增加的分区信息，但是依旧报找不到新增加的分区信息错误原因：多个controller，导致
阅读全文
摘要：Check out my last article, Kafka Internals: Topics and Partitions to learn about Kafka storage internals. In Kafka, each topic is divided into set of
阅读全文
摘要：Authentication using SASL/Kerberos 1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "kta
阅读全文
摘要：CDK 2.0 and higher Powered By Apache Kafka supports Kerberos authentication, but it is supported only for the new Kafka Producer and Consumer APIs. If
阅读全文
摘要：一、MirrorMaker介绍 MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另一个数据中心提供副本。 图1. MirrorMaker 对于迁移的topic而言，topic名字一样， partiti
阅读全文
摘要：序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理，其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster，即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置，然后启动Mirr
阅读全文
摘要：1 2 sudo /usr/sbin/kadmin.local -q 'addprinc -randkey kafka/{hostname}@{REALM}' sudo /usr/sbin/kadmin.local -q "ktadd -k /etc/security/keytabs/{keytab
阅读全文
摘要：Clients may configure JAAS using the client configuration property sasl.jaas.config or using the static JAAS config file similar to brokers.JAAS confi
阅读全文
摘要：Few weeks back, while I was enjoying my holidays in the south of Italy, I started receiving notifications about an imminent announcement by Confluent.
阅读全文
摘要：Update: KSQL is now available as a component of the Confluent Platform. I’m really excited to announce KSQL, a streaming SQL engine for Apache Kafka®.
阅读全文
摘要：Kafka 的作者 Neha Narkhede 在 Confluent 上发表了一篇博文，介绍了Kafka 新引入的KSQL 引擎——一个基于流的SQL。推出KSQL 是为了降低流式处理的门槛，为处理Kafka 数据提供简单而完整的可交互式SQL 接口。KSQL 目前可以支持多种流式操作，包括聚合（
阅读全文
摘要：Status Motivation Public Interfaces Proposed Changes Remote Topics, Partitions Aggregation Cycle detection Config, ACL Sync Internal Topics Remote Clu
阅读全文
摘要：Apache Kafka has become an essential component of enterprise data pipelines and is used for tracking clickstream event data, collecting logs, gatherin
阅读全文
摘要：日志记录 FATAL Fatal error during KafkaServerStable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)java.lang.IllegalArgumentException: re
阅读全文
摘要：Kafka是广泛使用消息服务，很多情况下关于认证部分我都是默认的配置，也就是不需要用户名/密码，也不配置证书。在内网或者在项目组内部可以，但是设计的跨部门时一般处于安全考虑都需要加上认证，防止kafka被误用，产生大量垃圾信息，干扰了正常业务的运行。 Kafka提供的多种认证方式，比如SASL, 本
阅读全文
摘要：使用SASL/PLAIN认证 server端1.配置brokerkafka_server_jaas.conf内容KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"p
阅读全文
摘要：众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。 不
阅读全文
摘要：In this blog post I will show you kafka integration with ganglia, this is very interesting & important topic for those who want to do bench-marking, m
阅读全文
摘要：Kafka Brokers per Server Recommend 1 Kafka broker per server- Kafka not only disk-intensive but can be network intensive so if you run multiple broker
阅读全文
摘要：This section describes how to install and enable the Ranger Kafka plug-in. The Ranger Kafka plug-in is automatically installed when Kafka is installed
阅读全文