kafka生产者和消费者的多种形式及应用场景及存储
kafka当中,生产者和消费者是有很多不同形式的
kafka形式 | 使用场景 |
---|---|
生产者和消费者有kafka自带的 | 生产者生产的数据是我们在控制台输入的数据 |
我们也可以通过Java API自己编写生产者和消费者 | 自定义生产者生产的数据类型 |
kafka也可以结合一些其他技术框架Flume、Spark Streaming做生产者和消费者 | 适用于大数据开发场景下 |
存储情况
- Kafka虽然能做消息缓存和存储(硬盘),但是Kafka不会永久性存储消息数据,而是会周期性检查,然后清理过期的数据(清理的策略有两种 删除--默认 、压缩--(消息也可以是key value类型的数据--按照key值聚合 保留key值最新的数据))
log.cleaner.enable=true
# compact(压缩)、delete(删除)
log.cleanup.policy=delete
1)基于时间:log.retention.hours=168,消息的存放时间超过7天(可以设置的)
2)基于大小:log.retention.bytes=1073741824(可以设置的)
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16663524.html