kafka生产者和消费者的多种形式及应用场景及存储
kafka当中,生产者和消费者是有很多不同形式的
kafka形式 | 使用场景 |
---|---|
生产者和消费者有kafka自带的 | 生产者生产的数据是我们在控制台输入的数据 |
我们也可以通过Java API自己编写生产者和消费者 | 自定义生产者生产的数据类型 |
kafka也可以结合一些其他技术框架Flume、Spark Streaming做生产者和消费者 | 适用于大数据开发场景下 |
存储情况
- Kafka虽然能做消息缓存和存储(硬盘),但是Kafka不会永久性存储消息数据,而是会周期性检查,然后清理过期的数据(清理的策略有两种 删除--默认 、压缩--(消息也可以是key value类型的数据--按照key值聚合 保留key值最新的数据))
log.cleaner.enable=true # compact(压缩)、delete(删除) log.cleanup.policy=delete
1)基于时间:log.retention.hours=168,消息的存放时间超过7天(可以设置的)
2)基于大小:log.retention.bytes=1073741824(可以设置的)
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16663524.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?