随笔分类 - Kafka
摘要：所有选项如下： 命令示例如下： bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092,kafka_4:9092,kafka_5:9092 --group group_name --
阅读全文
摘要：kafka开启压缩后，可以极大的优化磁盘占用和网络传输开销，以及cpu占用和gc时间，开启压缩的参数为compression.type Specify the final compression type for a given topic. This configuration accepts t
阅读全文
摘要：背景 有同学反馈kafka某个topic有消息丢失（消费比生产的要少），丢失率大概20% 排查 出现问题的topic的replication-factor为2，partition数量为5，该topic状态如下： 有一个topic处于Under Replicated状态，ISR只有1个，193节点被踢
阅读全文
摘要：背景 kafka执行reassign后部分partition一直is still in progress，日志如下： 定位 经排查发现问题原因是做reassign的时候，将分区从相同broker的一个盘移动到另一个盘，这个操作目前还不被支持，官方解释如下 How to move replica be
阅读全文
摘要：背景 kafka部分进程重启，报错如下： java.io.IOException: Too many open files at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:422) at sun.ni
阅读全文
摘要：kafka reassign过程详见：reassign过程 最近kafka集群发生reassign过程卡住的情况，问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController: [Controller id=3
阅读全文
摘要：reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一个replica之外其他的replicas会加一个随机shift之后顺序选择n-1个broker 选择这个broker中多个log_
阅读全文
摘要：gobblin 0.10 想要持久化kafka到hdfs有很多种方式，比如flume、logstash、gobblin，其中flume和logstash是流式的，gobblin是批处理式的，gobblin通过定时任务触发来完成数据持久化，在任务和任务之间是没有任何读写的，这点是和flume、logs
阅读全文
摘要：应用一：kafka数据同步到kudu 1 准备kafka topic # bin/kafka-topics.sh --zookeeper $zk:2181/kafka -create --topic test_sync --partitions 2 --replication-factor 2 WA
阅读全文
摘要：应用一：mysql数据增量同步到kafka 1 准备mysql测试表 mysql> create table test_sync(id int not null auto_increment, name varchar(32), description varchar(64), create_tim
阅读全文
摘要：使用docker部署 1 下载 # wget https://github.com/doujiang24/lua-resty-kafka/archive/v0.06.tar.gz# tar xvf v0.06.tar.gz 2 准备配置文件testkafka.conf # vi testkafka.
阅读全文
摘要：1 下载kafka parcel http://archive.cloudera.com/kafka/parcels/latest/KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcelKAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 # mv KAF
阅读全文
摘要：kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Soc
阅读全文
摘要：kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio
阅读全文
摘要：kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉： 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err
阅读全文
摘要：kafka2.0 http://kafka.apache.org 一 简介 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tole
阅读全文
