随笔分类 - Kafka
摘要：1、发送数据 执行完命令直接跟着输入发送的内容： kafka-console-producer.sh --broker-list 192.168.23.121:9092 --topic temp0208 2、消费数据 1）默认latest kafka-console-consumer.sh --bo
阅读全文
摘要：怎样清空指定kafka中topic中的数据呢？使用kafka-delete-records.sh脚本，如下： kafka-delete-records.sh --bootstrap-server 192.168.23.121:9092 --offset-json-file DELETE_temp02
阅读全文
摘要：1、查询kafka中的topic kafka-topics.sh --list --zookeeper 192.168.23.190:2181 2、删除指定的topic 1）方法1：使用kafka命令删除 kafka-topics.sh --delete --zookeeper 192.168.23
阅读全文
摘要：使用java作为客户端时，可以通过配置消费端控制是否接收旧数据，先理解下面几个配置： 1、group.id 分组，相同group.id的客户端是一组，可以简单把相同组的客户端看成是一个客户端，某数据被组内某个客户端消费了，组内其它客户端不能再消费 2、auto.offset.reset 有两个值，l
阅读全文
摘要：1、导入kafka所需要的包（最后附maven依赖） 安装kafka时，解压后就有kafka需要的jar包，如下图所示： 现在只需要导入这四个：kafka-clients-2.1.1.jar、log4j-1.2.17.jar、slf4j-api-1.7.25.jar、slf4j-log4j12-1.
阅读全文
摘要：broker.id =0 #每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 log.dirs=/data/kafka-logs #kafka数据的存放地址，多个地址的话用逗号分割/data/kafk
阅读全文
摘要：1、Kafka主要设计理念 Kafka之所以和其它绝大多数信息系统不同，是因为下面这几个为数不多的比较重要的设计决策： （1）Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。 （2）Kafka主要的设计约束是吞吐量而不是功能。 （3）Kafka有关哪些数据已经被使用了的状态信息保存
阅读全文
摘要：1、Kafka简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。之后贡献给Apache基金会成为Apache的一个顶级项目。Kafka是一种快速、可扩
阅读全文
摘要：一、在服务器192.168.23.151/152/153上分别安装Kafka服务 参考Kafka单机安装与配置 二、规划与修改配置文件 规划：151/152/153上各两个broker，分别是broker1、broker2、broker3、broker4、broker5、broker6 举例151修
阅读全文
摘要：本文记录一下kafka单机多Broker的基本配置步骤 参考资料：安装单机版kafka 1、复制出一份单机配置好的kafka目录 [root@localhost myroom]# cp -r kafka_2.11-2.1.1/ kafka_2.11-2.1.1_mutibroker/ 2、复制出配置
阅读全文
摘要：一、安装与配置 1、解压文件 tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/myroom 2、修改配置文件 1）建日志路径 mkdir /usr/local/myroom/kafka_2.11-2.1.1/logs 2）编辑配置项 vi /usr/loca
阅读全文