摘要：报错日志： 21/07/06 12:07:54 ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProxy(Ljava/lang/Cl
阅读全文
摘要：普通启动flume：nohup bin/flume-ng agent --conf-file conf/kafka_flume_hdfs.conf --name a2 -Dflume.pirate.logger=INFO,LOGFILE >/home/pirate/programs/flume/lo
阅读全文
摘要：引用第三方jar包 不必放在flume的lib目录下，参考http://flume.apache.org/FlumeUserGuide.html#installing-third-party-plugins 在flume目录下新建plugins.d目录，此目录下每个插件单独一个目录，每个插件目录下可
阅读全文
摘要：flume中的数据漂移问题解决： 在flume-kafka-flume中 flume1：taildir source -- kafka channel flume2：kafka source -- File channel -- HDFS sink 第二层flume的kafka source上挂上一
阅读全文
摘要：什么时候最容易出问题呢？——flush到HDFS的时候组容易出问题 Flume的两套事务流程，确保不丢数据（一下针对FileChannel）： Put事务：可以理解为Source和Channel为一个整体的事务（比如说，source对接kafka，真正到了Channel(Sink? 根据监控来看，应
阅读全文
摘要：当使用Flume遇到内存溢出等异常时，可参照以下调整你的jvm参数即可. 可用 ps -aux | grep flume查看Flume进程使用了多少内存. 一、 vi bin/flume-ng 修改JAVA_OPTS="-Xmx20m" (默认为20m) 这段是head的最大值 (涉及jvm知识请自
阅读全文
摘要：1、目录配置，实现不了断点续传功能 2、针对采集原始文件实现断点续传（taildir source才有这个断点续传的功能），可以采用多文件进行配置，也可以采用文件通配符进行配置要采集的文件（比如：*.log） 参考： al.sources = r1 a1.channels = c1 a1.sinks
阅读全文
摘要：一.串行模式 Flume Agent之间相互连接 这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个
阅读全文
摘要：在flume中事务是一个重要的概念，事务保证了数据的可靠性。这里的事务性和数据库中的事务性有些区别，flume中的事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。(比如上传文件的过程中HDFS宕机，则会造成HDFS数据重复) Flume的事务性，主
阅读全文
摘要：问题一：ERROR [PollableSourceRunner-KafkaSource-r2] (org.apache.flume.source.kafka.KafkaSource.doProcess:314) - KafkaSource EXCEPTION, {}org.apache.kafka.
阅读全文
摘要：#组件 #a1为定义的namea1.sources=r1a1.channels=c1a1.sinks=k1 #source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource #定义source类型为Kafka Sourcea
阅读全文
摘要：官网：https://flume.apache.org 概述 Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。Flume基于流式架构，灵活可靠。Flume最主要的作用就是实时读取服务器本地磁盘数据，将数据写到HDFS。Flume针对特殊场景也具备良好的自定义扩展能力，因此，
阅读全文
