随笔分类 - Kafka
Kafka
摘要：find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*' 查出的这个文件名称中，2.13是Scala版本，2.8.1是Kafka版本。
阅读全文
摘要：1: docker pull wurstmeister/zookeeper 2: docker pull wurstmeister/kafka （下面3和4需要在以admin的role在CMD里运行，用git bash不好使） 3: docker run -d --name zookeeper --
阅读全文
摘要：注意：从kafka-0.9版本及以后，kafka的消费者组和offset信息就不存zookeeper了，而是存到broker服务器上，所以，如果你为某个消费者指定了一个消费者组名称（group.id），那么，一旦这个消费者启动，这个消费者组名和它要消费的那个topic的offset信息就会被记录在b
阅读全文
摘要：1 打开 server.properties2 添加一条： delete.topic.enable=true 3 执行命令： bin/kafka-topics.sh --delete --zookeeper 9.37.138.215:2181, 9.42.18.65:2181, 9.37.201.5
阅读全文
摘要：1 subscribe: 自动安排分区, 通过group自动重新的负载均衡； 关于Group的实验： 如果auto commit = true, 重新启动进程，如果是同样的groupID，从上次commit的地方开始消费数据，但是如果换了group后，就可以继续 消费了。 auto commit =
阅读全文
摘要：Connect API： 实现一个连接器（connector），不断地从一些数据源系统拉取数据到kafka，或从kafka推送到宿系统（sink system）。 大多数Connect使用者不需要直接操作这个API，可以使用之前构建的连接器，不需要编写任何代码。 Connect API： 实现一个连
阅读全文
摘要：1 kafka Streams: 概念： 处理和分析储存在Kafka中的数据，并把处理结果写回Kafka或发送到外部系统的最终输出点,它建立在一些很重要的概念上，比如事件时间和消息时间的准确区分，开窗支持，简单高效的应用状态管理. *一个流（stream）是Kafka中最重要的抽象概念：它代表了一个
阅读全文
摘要：1 为什么使用消息队列？ 六个字： 解耦、异步、消峰。 2 使用消息队列有什么缺点？ 消息队列挂了，系统就不能用了，系统可用性降低。 3 消息队列的高可用？ kafka使用zookeeper，master/slave,保证高可用； Kafka通过Zookeeper管理集群配置，选举leader，以及
阅读全文
摘要：1 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 2 tar -zxvf kafka_2.12-2.0.0.tgz -C kafka 3 进入到config下( /root/ka
阅读全文
摘要：consumer配置 #指明当前消费进程所属的消费组，一个partition只能被同一个消费组的一个消费者消费（同一个组的consumer不会重复消费同一个消息） group.id #针对一个partition的fetch request所能拉取的最大消息字节数，必须大于等于Kafka运行的最大消息
阅读全文
摘要：1、Broker配置 2.Consumer主要配置 3.Producer主要配置 以上是关于kafka一些基础说明，在其中我们知道如果要kafka正常运行，必须配置zookeeper，否则无论是kafka集群还是客户端的生存者和消费者都无法正常的工作的，以下是对zookeeper进行一些简单的介绍：
阅读全文
摘要：kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. 1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映
阅读全文
摘要：一、基本概念 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据.这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素. Kafka有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储
阅读全文
