03 2020 档案

kafka消息丢失情况与解决方案

摘要：1、Kafka消息丢失的情况：（1）auto.commit.enable=true，消费端自动提交offersets设置为true，当消费者拉到消息之后，还没有处理完 commit interval 提交间隔就到了，提交了offersets。这时consummer又挂了，重启后，从下一个offer 阅读全文

posted @ 2020-03-26 21:23 绝症色盲阅读(10527) 评论(0) 推荐(1) 编辑

第一章 flink简介

摘要：1.1 Apache Flink是什么？在当代数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。随着雅虎对hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行的大数据处理引擎Apache 阅读全文

posted @ 2020-03-16 19:30 绝症色盲阅读(134) 评论(0) 推荐(0) 编辑

kafka与RocketMQ对比

摘要：淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，Kafka无限消息堆阅读全文

posted @ 2020-03-13 16:26 绝症色盲阅读(281) 评论(0) 推荐(0) 编辑

flume基本原理

摘要：一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核阅读全文

posted @ 2020-03-11 23:31 绝症色盲阅读(217) 评论(0) 推荐(0) 编辑