随笔分类 -  |--- Kafka

四、kafka API
摘要：1、Producer API 1）消息发送流程 2）异步发送API 3）同步发送 API 2、consumer API 1）自动提交 offset 2）手动提交offset 3）自定义存储offset 还没有总结 阅读全文
posted @ 2021-09-28 22:50 青岑 阅读(167) 评论(0) 推荐(0) 编辑
三、kafka架构深入
摘要：1、Kafka的工程流程及文件存储机制 index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log 文件的结构 示意图 “.index”文件存储大量的索引信息，“.log”文件存储大量的数据，索引文件中的元数据指向对应数据文 件中 me 阅读全文
posted @ 2021-09-28 21:52 青岑 阅读(38) 评论(0) 推荐(0) 编辑
二、kafka的环境部署+命令行
摘要：1、kafka的安装部署 因为我这边只有一个阿里云服务器，且配置贼低，所以我就不部署集群，直接部署一个单机版的测试玩玩 1）新建soft文件夹，并将kafka的jar上传到该文件夹下 2）解压压缩包，并将解压后的文件名改为 kafka tar -zxvf kafka_2.11-0.11.0.0.tg 阅读全文
posted @ 2021-08-29 10:09 青岑 阅读(91) 评论(0) 推荐(0) 编辑
一、kafka概述
摘要：1、定义 kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要用于大数据实时处理领域 2、消息队列 1）传统消息队列的应用场景 2）使用消息队列的好处 ①、解耦 ②、可恢复性 系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所 以即使一个 阅读全文
posted @ 2021-08-27 07:37 青岑 阅读(100) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
主题色彩