摘要：
Kafka重复消费 重复消费 消息重复消费的根本原因都在于：已经消费了数据，但是offset没有成功提交。 其中很大一部分原因在于发生了再均衡。 1）消费者宕机、重启等。导致消息已经消费但是没有提交offset。 2）消费者使用自动提交offset，但当还没有提交的时候，有新的消费者加入或者移除，发 阅读全文
摘要：
存储格式1 SequenceFile以二进制键值对的形式存储数据,支持三种记录存储方式。.无压缩: io效率较差，相比压缩，不压缩的情况下没有什么优势。记录级压缩:对每条记录都压缩，这种压缩效率比较一 般。块级压缩: 这里的块不同于HDFS中的块的概念.这种方式会将达到指定块大小的二进制数据压缩为一 阅读全文
摘要：
知网链接 原文链接 张京坤， 王怡怡 软件导刊 2022年21卷第6期 页码:141-146 DOI：10.11907/rjdk.211889 中图分类号：TP274 纸质出版日期：2022-06-15，收稿日期：2021-07-05 摘要： 为提高对舆情信息的分析能力，设计并实现基于Spark框架 阅读全文