摘要: 主要基于从kafka0.11.0版本开始之后的版本进行描述 1、批处理 传统消息中间件,一次只发送单挑消息;kafka,一次发送多条消息,微批处理。 2、客户端优化 新版客户端摒弃单线程,采用双线程模式——主线程+Sender线程。 主线程负责将消息置入客户端缓存(缓存会将多个消息聚合为1个批次); 阅读全文
posted @ 2020-05-02 16:15 XSmileSmile 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 主要基于下面博文进行学习与验证 一文看懂kafka消息格式演变 概述 Kafka根据topic(主题)对消息进行分类,发布到Kafka集群的每条消息都需要指定一个topic,每个topic将被分为多个partition(分区)。每个partition在存储层面是追加log(日志)文件,任何发布到此p 阅读全文
posted @ 2020-05-01 16:17 XSmileSmile 阅读(1592) 评论(0) 推荐(0) 编辑
摘要: 一、Kafka 0.11 参考文档 (1)https://kafka.apache.org/0110/documentation.html 二、kafka 0.8 1、命令行操作 (1)新建topic (2)发送消息 2、API使用 (1)pom依赖 (2)生产者api使用 参考文档 (1)http 阅读全文
posted @ 2020-05-01 11:03 XSmileSmile 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 2020双十 阿里云服务器ECS团购特惠链接 #一、zookeeper开机自启动 1、cd /etc/init.d 2、vim zk,添加以下内容 #!/bin/bash #chkconfig:2345 20 90 #description:zookeeper export JAVA_HOME=/u 阅读全文
posted @ 2020-04-30 21:48 XSmileSmile 阅读(1425) 评论(0) 推荐(1) 编辑