随笔分类 - |--- Kafka
摘要:1、Producer API 1)消息发送流程 2)异步发送API 3)同步发送 API 2、consumer API 1)自动提交 offset 2)手动提交offset 3)自定义存储offset 还没有总结
阅读全文
摘要:1、Kafka的工程流程及文件存储机制 index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log 文件的结构 示意图 “.index”文件存储大量的索引信息,“.log”文件存储大量的数据,索引文件中的元数据指向对应数据文 件中 me
阅读全文
摘要:1、kafka的安装部署 因为我这边只有一个阿里云服务器,且配置贼低,所以我就不部署集群,直接部署一个单机版的测试玩玩 1)新建soft文件夹,并将kafka的jar上传到该文件夹下 2)解压压缩包,并将解压后的文件名改为 kafka tar -zxvf kafka_2.11-0.11.0.0.tg
阅读全文
摘要:1、定义 kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要用于大数据实时处理领域 2、消息队列 1)传统消息队列的应用场景 2)使用消息队列的好处 ①、解耦 ②、可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所 以即使一个
阅读全文