Flume

Flume概述

1.Flume概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
 Flume适用于各种数据采集的场景，减少代码的书写

  如果不采用flume，针对不同的应用场景都需要编写客户端，代码量比较大，如果启用flume的话，我们可以不用编写客户端，flume可以接入各种场景吗，收集数据。
  Flume最主要的作用就是实时读取服务器本地磁盘的数据，将数据写入到hdfs.
  中文版：https://flume.liyifeng.org/#hdfs-sink
  英文版：http://flume.apache.org/FlumeUserGuide.html

2.flume基础架构

flume每个进程为agent,有三部分组成，source负责读取数据源中的数据，把数据包装成event,(source是把数据转换成flume中的标准类型的数据event)，sink 接收event数据，并把数据写到hdfs中（原始数据）。channel是介于source和sink的缓冲区（source和sink大多时候传输速率不一致）类似看视频 网络读取的速度 5M 30kb 看视频的速度300kb/s   
 Agent:Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。
 source:Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。
  sink:Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
   Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。
  channel:Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。Flume自带两种Channel：Memory Channel和File Channel。
   Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
   File Channel将所有事件写到磁盘。因此在程序关闭或机器宕机的情况下不会丢失数据。
   event:传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。

3.flume案例

3.1 安装部署

   （1）将apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下
   （2）解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下  tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/
   （3）修改apache-flume-1.9.0-bin的名称为flume         mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume
   （4）将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3  rm /opt/module/flume/lib/guava-11.0.2.jar

3.2 监控端口数据官方案例

   需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台

    1)先安装netcat工具  sudo yum install -y nc
    2）判断44444端口是否被占用 
    3）创建Flume Agent配置文件 netcat-flume-logger.conf(配置文件名字无要求)

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source  //0.0.0.0  使用hostname的时候 仅限于本机 
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost      
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

   5) 修改一下 $flume/conf/log4j.properties  改变一下日志的输出路径

   6）开启flume
     $ bin/flume-ng agent -n $agent_name -c conf -f filename
     $ bin/flume-ng agent -n a1 -c conf -f job/netcat-flume-logger.conf
     第二种写法（没操作第5步）$ bin/flume-ng agent -n a1 -c conf -f job/netcat-flume-logger.conf -Dflume.root.logger=INFO,console
         或者全局      bin/flume-ng agent -c $FLUME_HOME/conf -f $FLUME_HOME/job/netcat-flume-logger.conf -n a1 -Dflume.root.logger=INFO,console
   7）使用netcat工具向本机的44444端口发送内容
      nc localhost 44444
      hello world 
     8）在Flume监听页面观察接收数据情况

3.3 实时监控单个追加文件(日志信息)

   1）案例需求：实时监控Hive日志，并上传到HDFS中

   2）创建Flume Agent配置文件 cd $flume/job   vim exec-flume-hdfs.conf 

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -n 10 -F /opt/module/hive/logs/hive.log

# Describe the sink [rollInterval-roundCount]控制生成新文件 [round-roundUnit]控制生成新文件夹
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M
a1.sinks.k1.hdfs.filePrefix = events-%[localhost]
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.hdfs.roundSize = 134217728
a1.sinks.k1.hdfs.roundCount = 0
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

   3) 开启hdfs 因为sink的输出位置在hdfs上
       start-dfs.sh
   4)开启flume 
     $ bin/flume-ng agent -n a1 -c conf -f job/exec-flume-hdfs.conf
      开启 hive
    5) 观察hdfs上的文件变化

3.4 实时监控目录下多个新文件

   1)案例需求：使用Flume监听整个目录的文件，并上传至HDFS

2)创建Flume Agent配置文件 cd $flume/job vim spool-flume-hdfs.conf

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source   事先定义好要监控的目录

a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/module/flume/spooling
a1.sources.r1.ignorePattern = ^.*\.tmp$
# Describe the sink

a1.sinks.k1.type = hdfs

a1.sinks.k1.hdfs.path = /flume/spool/%y-%m-%d/%H%M
a1.sinks.k1.hdfs.filePrefix = events-%[localhost]
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

     3)开启flume （开启之前  事先定义好要监控的目录）
       bin/flume-ng agent -n a1 -c conf -f job/spool-flume-hdfs.conf
      4）往监控目录中添加文件
         不能向同一文件中追加数据
      5）观察hdfs上内容的变化

3.5 实时监控目录下的多个追加文件

    Exec source适用于监控一个实时追加的文件，不能实现断点续传，数据容易丢失；Spooldir Source适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。
   1）案例需求：使用Flume监听整个目录的实时追加文件，并上传至HDFS

    2）创建flume agent 配置文件 cd $flume/job   vim taildir-flume-hdfs.conf

# example.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = TAILDIR
a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json
a1.sources.r1.filegroups = f1 f2
a1.sources.r1.filegroups.f1 = /opt/module/flume/taildir/.*file.*
a1.sources.r1.filegroups.f2 = /opt/module/flume/taildir/.*log.*
# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/taildir/%y-%m-%d/%H%M/
a1.sinks.k1.hdfs.filePrefix = events-%[localhost]
a1.sinks.k1.hdfs.rollInterval = 60
a1.sinks.k1.hdfs.rollSize = 134217728
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100


# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

      3)开启flume
        bin/flume-ng agent -n a1 -c conf -f job/taildir-flume-hdfs.conf
       4） 往监控文件夹中添加文件
          接着往文件中追加数据
       5）查看hdfs中的数据
      Taildir说明：
Taildir Source维护了一个json格式的position File，其会定期的往position File中更新每个文件读取到的最新的位置，因此能够实现断点续传。Position File的格式如下：
  {"inode":2496272,"pos":12,"file":"/opt/module/flume/files/file1.txt"}
  {"inode":2496275,"pos":12,"file":"/opt/module/flume/files/file2.txt"}
  注：Linux中储存文件元数据的区域就叫做inode，每个inode都有一个号码，操作系统用inode号码来识别不同的文件，Unix/Linux系统内部不使用文件名，而使用inode号码来识别文件。