随笔分类 -  Kafka

摘要:消息的存储原理: 消息的文件存储机制: 前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径,那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容: kafka 是通过分段的 阅读全文
posted @ 2018-12-20 17:05 吴振照 阅读(8719) 评论(0) 推荐(3) 编辑
摘要:关于 Topic 和 Partition: Topic: 在 kafka 中,topic 是一个存储消息的逻辑概念,可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说,不同的 topic 的消息是分开存储的,每个 topic 可以有多个生产者向它发送消息,也可以有 阅读全文
posted @ 2018-12-19 13:58 吴振照 阅读(8830) 评论(0) 推荐(2) 编辑
摘要:Kafka 的简介: Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同 阅读全文
posted @ 2018-12-18 14:33 吴振照 阅读(1340) 评论(0) 推荐(0) 编辑