2020年3月28日
Spark streaming消费kafka数据通过手动管理kafkaoffset保证实时流消费数据的一致性
摘要： 1.写在前面 在大数据流式和实时数据计算方面，目前大多采用 和`kafka+flink`,这两种方式的不同在于组件的不同，spark是离线批和流式一体的大数据分布式计算引擎，而flink最初是为流式和实时计算而生的，所以在流式和实时上更加有优势。而随着flink不断的更新逐渐对批的支持也非常好。这两 阅读全文
posted @ 2020-03-28 20:23 技术即艺术 阅读(1742) 评论(2) 推荐(0) 编辑