2019年12月11日
kafka保证精确一次消费
摘要： 目录 一、消息传递语义 二、消息一致性保证方案 三、kafka消息丢失场景 三、kafka消息重复场景 一、消息传递语义： 三种，至少一次，至多一次，精确一次 1、at lest once：消息不丢，但可能重复 2、at most once：消息会丢，但不会重复 3、Exactly Once：消息不 阅读全文
posted @ 2019-12-11 16:21 guoyu1 阅读(4165) 评论(0) 推荐(0) 编辑
Flume源码更改
摘要： 1、源码更改场景：如果使用 0.8 版本 Kafka 并配套 1.6 版本 Flume，由于 Flume 1.6 版本没有Taildir Source 组件，因此，需要将 Flume 1.7 中的 Taildir Source 组件源码编译打包后，放入Flume1.6 安装目录的 lib文件目录下。 阅读全文
posted @ 2019-12-11 14:28 guoyu1 阅读(456) 评论(0) 推荐(0) 编辑
Flume拦截器、监控器
摘要： 一、拦截器 1、拦截器： 拦截器主要作用在source和channel之间，用于给event设置header消息头，如果没有设置拦截器，则event中只有message。 常见的拦截器有： Timestamp Interceptor 时间拦截器：将时间戳插入到header中。 Host Interc 阅读全文
posted @ 2019-12-11 10:51 guoyu1 阅读(1004) 评论(0) 推荐(0) 编辑