Kafka集群数据同步 MirrorMaker详解
摘要：1、什么是MirrorMaker？ MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具主要作用是从源集群中消费并生产到目标集群。 一个集群可以启动多个MirrorMaker配置到多个Kafka集群； 2、如果想在Kafka测试集群，同步线的Kafka数据，
阅读全文
posted @ 2023-07-27 11:15
随笔分类 - Kafka
Shell命令往Kafka发送数据示例
摘要：启动发送命令： hdfs dfs -cat /user/pirate/warehouse/3_415/* | head -10 | ./bin/kafka-console-producer.sh --broker-list ip:9092 --topic mytest 启动消费命令： ./bin/k
阅读全文
posted @ 2022-09-02 11:26
Kafka之cache相关问题
摘要：kafka内存不断增加_Kafka为什么吞吐量大、速度快？ Kafka 如何优化内存缓冲机制造成的频繁 GC 问题？ Kafka客户端内存缓冲GC处理机制--客户端内存 拓展： linux free 命令下free/available区别 linux 下如何清除内存,linux清除cache的方法
阅读全文
posted @ 2021-12-24 16:31
Kafka MirrorMaker 跨集群数据迁移
摘要：参考： 1、使用 Apache Kafka 的 MirrorMaker 迁移集群 sh /home/pirate/programs/kafka/bin/kafka-run-class.sh -daemon -name tutorials -loggc kafka.tools.MirrorMaker
阅读全文
posted @ 2021-12-03 18:13
Kafka 如何保证消息的消费顺序一致性
摘要：Kafka 如何保证消息的消费顺序？ 在Kafka中Partition(分区)是真正保存消息的地方，发送的消息都存放在这里。Partition(分区)又存在于Topic（主题）中，并且一个Topic（主题）可以指定多个Partition(分区)。 在Kafka中，只保证Partition(分区)内有
阅读全文
posted @ 2021-09-10 18:59
假如Kafka集群中一个broker宕机无法恢复, 应该如何处理?
摘要：如果服务器真的坏了, 只需要新启动一个broker, 把broker.id设置为 损坏的那个broker的id, 就会自动复制过去丢失的数据 How to replace a failed broker? When a broker fails, Kafka doesn't automaticall
阅读全文
posted @ 2021-08-30 10:30
关于kafka中ISR、AR、HW、LEO、LSO、LW的含义详解
摘要：一、kafka replication 1.当某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 2.Replica的个数小于等于Broker的个数，也就是说，对
阅读全文
posted @ 2021-08-27 18:56
大数据kafka理论实操面试题
摘要：待续、。。 参考： 大数据kafka理论实操面试题
阅读全文
posted @ 2021-07-15 17:32
Kafka Offset相关命令总结
摘要：待续。。。 参考： Kafka Offset相关命令总结
阅读全文
posted @ 2021-07-14 17:23
Kafka "-daemon" 参数启动
摘要：示例启动方式： bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-start.sh -daemon config/server-1.properties bin/kafka-server-start
阅读全文
posted @ 2021-07-14 16:26
Kafka 重置偏移量到某个时间点
摘要：示例（注意UTC时区问题，与国内差8个小时）： kafka-consumer-groups.sh 使用 –to-datetime 参数可以做到，需要注意这个–to-datetime是utc时间，需要减去8个小时。 bin/kafka-consumer-groups.sh --bootstrap-se
阅读全文
posted @ 2021-07-09 11:48
Kafka底层原理剖析
摘要：如何确定kafka各个节点是否在一个kafka集群中，是由指定的zookeeper确定的，如果几台kafka中的配置文件server.properties 中指定的地址是同一Zk地址，则这几台kafka节点同属于一个kafka集群 Kafka底层原理剖析
阅读全文
posted @ 2021-07-09 11:36
Kafka集群启停脚本参考
摘要：对kafka-server-start.sh脚本和kafka-server-stop.sh脚本进行二次封装 #! /bin/bash # Kafka代理节点地址, 如果节点较多可以用一个文件来存储 hosts=(dn1 dn2 dn3) # 打印启动分布式脚本信息 mill=`date "+%N"`
阅读全文
posted @ 2021-04-22 18:32
Kafka常用命令
摘要：启动Kafka：/export/servers/zookeeper/bin/zkServer.sh startnohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 停用
阅读全文
posted @ 2021-04-12 10:34
