摘要: Kafka作为消息中间件,数据需要按照一定的规则删除,否则数据量太大会把集群存储空间占满。 参考:apache Kafka是如何实现删除数据文件(日志)的 Kafka删除数据有两种方式 按照时间,超过一段时间后删除过期消息 按照消息大小,消息数量超过一定大小后删除最旧的数据 Kafka删除数据的最小 阅读全文
posted @ 2016-11-23 23:32 chen-kh 阅读(11547) 评论(0) 推荐(0) 编辑
摘要: 摘自http://blog.csdn.net/jewes/article/details/42970799 引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition 阅读全文
posted @ 2016-11-23 23:19 chen-kh 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 文章摘自:美团点评技术团队 Kafka文件存储机制那些事 Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linked 阅读全文
posted @ 2016-11-23 23:19 chen-kh 阅读(4488) 评论(0) 推荐(0) 编辑