2021 年 2月 25 日随笔档案 - RICH-ATONE

Flume监控文件实现断点续传

摘要： 1、目录配置，实现不了断点续传功能 2、针对采集原始文件实现断点续传（taildir source才有这个断点续传的功能），可以采用多文件进行配置，也可以采用文件通配符进行配置要采集的文件（比如：*.log）参考： al.sources = r1 a1.channels = c1 a1.sinks 阅读全文

posted @ 2021-02-25 22:43 RICH-ATONE 阅读(465) 评论(0) 推荐(0) 编辑

Flume常见拓扑结构

摘要：一.串行模式 Flume Agent之间相互连接这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个阅读全文

posted @ 2021-02-25 22:35 RICH-ATONE 阅读(194) 评论(0) 推荐(0) 编辑

Flume的事务性与数据安全性

摘要：在flume中事务是一个重要的概念，事务保证了数据的可靠性。这里的事务性和数据库中的事务性有些区别，flume中的事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。(比如上传文件的过程中HDFS宕机，则会造成HDFS数据重复) Flume的事务性，主阅读全文

posted @ 2021-02-25 22:33 RICH-ATONE 阅读(292) 评论(0) 推荐(1) 编辑

Flume常见问题

摘要：问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka. 阅读全文

posted @ 2021-02-25 22:30 RICH-ATONE 阅读(1404) 评论(5) 推荐(0) 编辑

Flume对接Kafka Source基础配置

摘要： #组件 #a1为定义的namea1.sources=r1a1.channels=c1a1.sinks=k1 #source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #定义source类型为Kafka Sourcea 阅读全文

posted @ 2021-02-25 22:29 RICH-ATONE 阅读(2686) 评论(0) 推荐(0) 编辑

Flume基础介绍

摘要：官网：https://flume.apache.org 概述 Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活可靠。Flume最主要的作用就是实时读取服务器本地磁盘数据，将数据写到HDFS。Flume针对特殊场景也具备良好的自定义扩展能力，因此，阅读全文

posted @ 2021-02-25 22:27 RICH-ATONE 阅读(224) 评论(0) 推荐(0) 编辑

RICH-ATONE