2020年6月21日
摘要: Kafka架构在硬件选择方面,以重要性顺序考虑以下4点: 1) 磁盘(最重要)。影响最大的事生产者,读写速度。需参考多个分区、多个目录,如一个分区每天生产1TB数据,10天就是10GB,再乘以分区数量。 2)网络。生产者、消费者写入、读取速度 3)内存。影响消费者,因为生产者如果写不了内存可以写磁盘 阅读全文
posted @ 2020-06-21 23:44 梦幻朵颜 阅读(185) 评论(0) 推荐(0) 编辑
摘要: $ cat -n config/server.properties 1)全局配置——Broker相关 broker.id=0 // broker ID, 集群模式下该ID必须唯一,且永恒不变。重点:每新启动一个Kafka Server加入Kafka集群,该id必须且只能+1,否则会报错 id不在指定 阅读全文
posted @ 2020-06-21 18:50 梦幻朵颜 阅读(1009) 评论(0) 推荐(0) 编辑
摘要: kafka基本命令查看博客《kafka2.5.0基本命令》 本博文所使用kafka版本2.5.0,操作系统centos8. 1)创建主题 创建my-topic主题,该主题有 1 个副本,8个分区: $ bin/kafka-topics.sh --create --bootstrap-server l 阅读全文
posted @ 2020-06-21 17:25 梦幻朵颜 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 本博文所使用kafka版本2.5.0,操作系统centos8. 1)启动zookeeper 演示用的话,直接启动kafka自带的zookeeper即可: cd kafkaDirectory/kafka_2.12-2.5.0 bin/zookeeper-server-start.sh config/z 阅读全文
posted @ 2020-06-21 15:04 梦幻朵颜 阅读(973) 评论(0) 推荐(0) 编辑