kafka生产者和消费者的多种形式及应用场景及存储

kafka当中,生产者和消费者是有很多不同形式的

kafka形式 使用场景
生产者和消费者有kafka自带的 生产者生产的数据是我们在控制台输入的数据
我们也可以通过Java API自己编写生产者和消费者 自定义生产者生产的数据类型
kafka也可以结合一些其他技术框架Flume、Spark Streaming做生产者和消费者 适用于大数据开发场景下

存储情况

  • Kafka虽然能做消息缓存和存储(硬盘),但是Kafka不会永久性存储消息数据,而是会周期性检查,然后清理过期的数据(清理的策略有两种 删除--默认 、压缩--(消息也可以是key value类型的数据--按照key值聚合 保留key值最新的数据))
log.cleaner.enable=true
# compact(压缩)、delete(删除)
log.cleanup.policy=delete

1)基于时间:log.retention.hours=168,消息的存放时间超过7天(可以设置的)
2)基于大小:log.retention.bytes=1073741824(可以设置的)

posted @ 2022-09-06 22:12  jsqup  阅读(38)  评论(0编辑  收藏  举报