摘要：
（1）Broke消息不丢失：因为有副卡relicas的存在，会不断地从leader中同步副本，索引一个broker崩溃，不会导致说话间丢失，除非只有一个副本。 （2）生产者消息不丢失：ACK机制（配置为All/-1），配置0或1可能会存在丢失。 （3）消费者消费不丢失：重点控制offset At-l 阅读全文
摘要：
Flink有对应的美中不同机制保证，提高exactly-once保障（二阶段事务提交方式） at-most once：最多一次，只管把数据消费，不管是否成功，会不会有数据丢失。 at-least-once：最少一次，可能会出现重复消费。 Exactly-once：仅有一次，事务性的保证，保证消息有且 阅读全文
摘要：
日志删除是以段（segment日志）为单位来进行定期清理的。 Kafka日志管理器中会有一个专门的日志删除任务来定期检测和删除不符合保留条件的日志分段文件，这个周期可以通过broker端参数log.retention.check.interval.ms来配置，默认是300,000，即5分钟。当前日志 阅读全文
摘要：
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，kafka需要不断地对过去一些消息进行清理工作。 Kafka的每个分区都有很多的日志文件，这也是为了方便进行日志清理。在kafka中，提供两种日志清理方式： 日志删除：log deletion，按照指定的策略直接删除不符合条件的日志。 日志压缩：l 阅读全文
摘要：
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea 阅读全文