Loading

随笔分类 -  |--- Kafka

摘要:1、Producer API 1)消息发送流程 2)异步发送API 3)同步发送 API 2、consumer API 1)自动提交 offset 2)手动提交offset 3)自定义存储offset 还没有总结 阅读全文
posted @ 2021-09-28 22:50 青岑 阅读(167) 评论(0) 推荐(0) 编辑
摘要:1、Kafka的工程流程及文件存储机制 index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log 文件的结构 示意图 “.index”文件存储大量的索引信息,“.log”文件存储大量的数据,索引文件中的元数据指向对应数据文 件中 me 阅读全文
posted @ 2021-09-28 21:52 青岑 阅读(37) 评论(0) 推荐(0) 编辑
摘要:1、kafka的安装部署 因为我这边只有一个阿里云服务器,且配置贼低,所以我就不部署集群,直接部署一个单机版的测试玩玩 1)新建soft文件夹,并将kafka的jar上传到该文件夹下 2)解压压缩包,并将解压后的文件名改为 kafka tar -zxvf kafka_2.11-0.11.0.0.tg 阅读全文
posted @ 2021-08-29 10:09 青岑 阅读(90) 评论(0) 推荐(0) 编辑
摘要:1、定义 kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要用于大数据实时处理领域 2、消息队列 1)传统消息队列的应用场景 2)使用消息队列的好处 ①、解耦 ②、可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所 以即使一个 阅读全文
posted @ 2021-08-27 07:37 青岑 阅读(100) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示