上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 56 下一页
摘要: 3.3 增加分区 详见,尚硅谷大数据技术之 Kafka3.0.01)修改分区数(注意:分区数只能增加,不能减少) 3.7 自动创建主题如果 broker 端配置参数 auto.create.topics.enable 设置为 true(默认值是 true),那么当生 产者向一个未创建的主题发送消息时 阅读全文
posted @ 2022-03-19 17:34 郭慕荣 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 总结:上述是发送者调优的总结, 阅读全文
posted @ 2022-03-19 17:23 郭慕荣 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 1.4 内存选择Kafka 内存组成:堆内存 + 页缓存 1)Kafka 堆内存建议每个节点:10g ~ 15g 2)页缓存:页缓存是 Linux 系统服务器的内存。我们只需要保证 1 个 segment(1g)中 25%的数据在内存中就好。每个节点页缓存大小 =(分区数 * 1g * 25%)/ 阅读全文
posted @ 2022-03-19 17:07 郭慕荣 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 启动Arthas,因为系统安装了几个不同版本的Jvm,所以启动起来要按照一定的格式 /Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home/bin/java -jar arthas-boot.jar 阅读全文
posted @ 2022-03-19 15:53 郭慕荣 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 控制器组件(Controller),是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群。集群中任意一台 Broker 都能充当控制器的角色,但是,在运行过程中,只能有一个 Broker 成为控制器,行使其管理和协调的 阅读全文
posted @ 2022-03-19 10:51 郭慕荣 阅读(285) 评论(0) 推荐(0) 编辑
摘要: 1.下载链接:http://download.kafka-eagle.org/1.1 输入 这条命令行【/usr/libexec/java_home -V】查看默认的 jdk 下载地址注意:命令行终端是区分大小写的(-v 是不对的,必须是大写 -V) 2.配置环境变量,首先也要配置java的环境变量 阅读全文
posted @ 2022-03-18 16:08 郭慕荣 阅读(414) 评论(0) 推荐(0) 编辑
摘要: Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic存储结构见下图: 由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了分片和索引机制,将每个partition分为多个seg 阅读全文
posted @ 2022-03-18 11:17 郭慕荣 阅读(463) 评论(0) 推荐(0) 编辑
摘要: 总结: 阅读全文
posted @ 2022-03-18 10:56 郭慕荣 阅读(166) 评论(0) 推荐(0) 编辑
摘要: 总结: 阅读全文
posted @ 2022-03-18 10:48 郭慕荣 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2022-03-17 19:11 郭慕荣 阅读(174) 评论(0) 推荐(0) 编辑
上一页 1 ··· 25 26 27 28 29 30 31 32 33 ··· 56 下一页