随笔分类 - kafka
摘要：A Kafka client that publishes records to the Kafka cluster. The producer is thread safe and sharing a single producer instance across threads will gen
阅读全文
摘要：很高兴地告诉大家，具备新的里程碑意义的功能的Kafka 0.11.x版本（对应 Confluent Platform 3.3）已经release，该版本引入了exactly-once语义，本文阐述的内容包括： Apache Kafka的exactly-once语义； 为什么exactly-once是
阅读全文
摘要：Exactly-once Semantics are Possible: Here’s How Kafka Does it I’m thrilled that we have hit an exciting milestone the Kafka community has long been wa
阅读全文
摘要：java程序连接到一个需要Kerberos认证的kafka集群上，消费生产者生产的信息，kafka版本是2.10-0.10.0.1； Java程序以maven构建，（怎么构建maven工程，可去问下度娘：“maven工程入门示例”） 先上pom.xml文件 然后是Jave代码，先上图，一一解释图中标
阅读全文
摘要：more /etc/krb5.conf kadmin.local klist -t -e -k /var/kerberos/krb5kdc/kafka.keytab more zookeeper_jaas.conf more kafka_server_jaas.conf more config/se
阅读全文
摘要：找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下 1> Kafka -> Flume –> Hadoop Hdfs 常用方案,基于配置,需要注意hdfs小文件性能等问题. GitHub地址: https://github.com/apache/flume 2> Kafka -
阅读全文
摘要：本文转发自技术世界，原文链接 http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该
阅读全文
摘要：本文转发自技术世界，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 摘要 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic
阅读全文
摘要：本文转发自技术世界，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析 背景介绍 Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间
阅读全文
摘要：An ingest pattern that we commonly see being adopted at Cloudera customers is Apache Spark Streaming applications which read data from Kafka. Streamin
阅读全文
摘要：Apache Kafka is optimized for small messages. According to benchmarks, the best performance occurs with 1 KB messages. Larger messages (for example, 1
阅读全文
摘要：To achieve high availability and consistency targets, adjust the following parameters to meet your requirements: Replication Factor Preferred Leader E
阅读全文
摘要：This topic describes additional steps you can take to ensure the safety and integrity of your data stored in Apache Kafka, with features available in
阅读全文
摘要：I wrote a blog post about how LinkedIn uses Apache Kafka as a central publish-subscribe log for integrating data between applications, stream processi
阅读全文
摘要：如果某个broker挂了，leader副本在该broker上的分区就要重新进行leader选举。来简要描述下leader选举的过程 1.4.1 KafkaController会监听ZooKeeper的/brokers/ids节点路径，一旦发现有broker挂了，执行下面的逻辑。这里暂时先不考虑Kaf
阅读全文
摘要：消费端出现offset重置为latest, earliest现象，类似log： 原因：该consumer消费的topic的leader和followers的状态不一致时，发生leader切换，会发生offset out of range，此时consumer进行消费时发现offset非法，会进行of
阅读全文
摘要：The partition reassignment tool can also be used to selectively move replicas of a partition to a specific set of brokers. When used in this manner, i
阅读全文
摘要：The partition reassignment tool can be used to move some topics off of the current set of brokers to the newly added brokers. This is typically useful
阅读全文
摘要：本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前，如果要为已有的consumer group调整位移必须
阅读全文
摘要：kafka如何创建topic？ Kafka创建topic命令很简单，一条命令足矣： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这
阅读全文