Flume的安装与使用

Flume的安装与使用

目录

• Flume的安装与使用
  • 一、Flume 介绍
    • Flume架构
    • Flume组件
      • Source
      • Channel
      • Sink
    • Flume数据流
    • Flume可靠性
  • 二、Flume的安装
    • Flume的安装
      • 1、上传至虚拟机，并解压
      • 2、重命名目录并配置环境变量
      • 3、查看 Flume 版本
      • 4、测试 Flume
    • 三、Flume的使用
      • Flume 对接 Kafka

一、Flume 介绍

实时数据采集工具

可以监控一个文件，可以监控一个目录，可以监听一个端口

将采集到的数据写入Kafka、hdfs、hbase、……

只能采集当前服务器中的数据

可以关注 GitHub 上的热度

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

Flume架构

Flume 运行的核心是 Agent。Flume以agent为最小的独立运行单位。一个agent就是一个JVM。它是一个完整的数据收集工具，含有三个核心组件，分别是　

source、 channel、 sink。通过这些组件， Event 可以从一个地方流向另一个地方，如下图所示。

Flume组件

Client：Client生产数据，运行在一个独立的线程。
Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。）
Flow： Event从源点到达目的点的迁移的抽象。
Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。）
Source： 数据收集组件。（source从Client收集数据，传递给Channel）
Channel： 中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。）
Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）

Source

Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。 Flume提供了很多内置的Source， 支持 Avro， log4j， syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource

如果内置的Source无法满足需要， Flume还支持自定义Source。

Channel

Channel是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到Sink处理完该事件。介绍两个较为常用的Channel， MemoryChannel和FileChannel。

Sink

Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数据， 也可以是其他agent的Source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。

Flume数据流

Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据

Flume 传输的数据的基本单位是 Event，如果是文本文件，通常是一行记录，这也是事务的基本单位。 Event 从 Source，流向 Channel，再到 Sink，本身为一个 byte 数组，并可携带 headers 信息。 Event 代表着一个数据流的最小完整单元，从外部数据源来，向外部的目的地去。

值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。

比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。Flume支持用户建立多级流，

也就是说，多个agent可以协同工作。

Flume可靠性

Flume 使用事务性的方式保证传送Event整个过程的可靠性。 Sink 必须在Event 已经被传达到下一站agent里，又或者，已经被存入外部数据目的地之后，才能把 Event 从 Channel 中 remove 掉。这样数据流里的 event 无论是在一个 agent 里还是多个 agent 之间流转，都能保证可靠，因为以上的事务保证了 event 会被成功存储起来。比如 Flume支持在本地保存一份channel文件作为备份，而memory channel 将event存在内存 queue 里，速度快，但丢失的话无法恢复。

---

二、Flume的安装

Flume的安装

1、上传至虚拟机，并解压

cd /usr/local/soft

tar -xvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/

在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft

alias soft='cd /usr/local/soft/'

2、重命名目录并配置环境变量

# 重命名
mv apache-flume-1.9.0-bin/ flume-1.9.0
# 配置环境变量
vim /etc/profile
# 刷新
source /etc/profile

3、查看 Flume 版本

[root@master soft]# flume-ng version
Flume 1.9.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: d4fcab4f501d41597bc616921329a4339f73585e
Compiled by fszabo on Mon Dec 17 20:45:25 CET 2018
From source with checksum 35db629a3bda49d23e9b3690c80737f9

4、测试 Flume

• 监控一个目录，将数据打印出来

  • 配置文件

    配置文件的文件名 : spoolingtest.conf

  # 首先先给agent起一个名字-叫 a1
  # 分别给source channel sink取名字
  a1.sources = r1
  a1.channels = c1
  a1.sinks = k1
  
  # 分别对source、channel、sink进行配置
  
  # 配置source
  # 将source的类型指定为 spooldir 用于监听一个目录下文件的变化
  # 因为每个组件可能会出现相同的属性名称，所以在对每个组件进行配置的时候 
  # 需要加上 agent 的名字.sources.组件的名字.属性 = 属性值
  a1.sources.r1.type = spooldir
  a1.sources.r1.spoolDir = /root/data/ 	# 指定监听目录
  a1.sources.r1.fileSuffix = .ok 			# 会自动将目录下的文件变成 .ok 结尾的文件
  a1.sources.r1.fileHeader = true
  
  # 给r1这个souces配置一个拦截器并取名为 i1
  a1.sources.r1.interceptors = i1
  # 将拦截器i1的类型设置为 timestamp 会将处理数据的时间以毫秒的格式插入event的header中
  # a1.sources.r1.interceptors.i1.type = timestamp
  # 将拦截器i1的类型设置为regex_filter 会根据正则表达式过滤数据
  a1.sources.r1.interceptors.i1.type = regex_filter
  # 配置正则表达式
  a1.sources.r1.interceptors.i1.regex = \\d{3,6}
  # excludeEvents = true 表示将匹配到的过滤，未匹配到的放行
  a1.sources.r1.interceptors.i1.excludeEvents = true
  
  # 配置sink
  # 使用logger作为sink组件，可以将收集到数据直接打印到控制台
  a1.sinks.k1.type = logger
  
  # 配置channel
  # 将channel的类型设置为memory，表示将event缓存在内存中
  a1.channels.c1.type = memory
  
  # 组装
  # 将sources的channels属性指定为c1
  a1.sources.r1.channels = c1
  
  # 将sinks的channel属性指定为c1
  a1.sinks.k1.channel = c1
  

  • 启动agent

    -n : 指定agent的名字

    -f : 指定配置文件名

    -Dflume.root.logger=DEBUG,console : 打印日志的方式，在命令行打印日志

  flume-ng agent -n a1 -f ./spoolingtest.conf -Dflume.root.logger=DEBUG,console
  

  • 新建/root/data目录

    /root/data -- 配置文件中指定的监听目录

  mkdir /root/data
  

  • 在/root/data/目录下新建文件，输入内容，观察flume进程打印的日志

  # 随意在a.txt中加入一些内容
  vim /root/data/a.txt
  

三、Flume的使用

• spoolingToHDFS.conf

  • 配置文件

  # a表示给agent命名为a
  # 给source组件命名为r1
  a.sources = r1
  # 给sink组件命名为k1
  a.sinks = k1 
  # 给channel组件命名为c1
  a.channels = c1
  
  #指定spooldir的属性
  a.sources.r1.type = spooldir 
  a.sources.r1.spoolDir = /root/data 
  a.sources.r1.fileHeader = true 
  a.sources.r1.interceptors = i1 
  a.sources.r1.interceptors.i1.type = timestamp
  
  #指定sink的类型
  a.sinks.k1.type = hdfs
  a.sinks.k1.hdfs.path = /flume/data/dir1
  # 指定文件名前缀
  a.sinks.k1.hdfs.filePrefix = student
  # 指定达到多少数据量写一次文件 单位：bytes
  a.sinks.k1.hdfs.rollSize = 102400
  # 指定多少条写一次文件
  a.sinks.k1.hdfs.rollCount = 1000
  # 指定文件类型为 流 来什么输出什么
  a.sinks.k1.hdfs.fileType = DataStream
  # 指定文件输出格式 为text
  a.sinks.k1.hdfs.writeFormat = text
  # 指定文件名后缀
  a.sinks.k1.hdfs.fileSuffix = .txt
  
  #指定channel
  a.channels.c1.type = memory 
  a.channels.c1.capacity = 1000
  # 表示sink每次会从channel里取多少数据
  a.channels.c1.transactionCapacity = 100
  
  # 组装
  a.sources.r1.channels = c1 
  a.sinks.k1.channel = c1
  

  • 在 /root/data/目录下准备数据

  The Zen of Python, by Tim Peters
  
  Beautiful is better than ugly.
  Explicit is better than implicit.
  Simple is better than complex.
  Complex is better than complicated.
  Flat is better than nested.
  Sparse is better than dense.
  Readability counts.
  Special cases aren't special enough to break the rules.
  Although practicality beats purity.
  Errors should never pass silently.
  Unless explicitly silenced.
  In the face of ambiguity, refuse the temptation to guess.
  There should be one-- and preferably only one --obvious way to do it.
  Although that way may not be obvious at first unless you're Dutch.
  Now is better than never.
  Although never is often better than *right* now.
  If the implementation is hard to explain, it's a bad idea.
  If the implementation is easy to explain, it may be a good idea.
  Namespaces are one honking great idea -- let's do more of those!
  

  • 启动agent

  flume-ng agent -n a -f ./spoolingToHDFS.conf -Dflume.root.logger=DEBUG,console
  

• hbaseLogToHDFS.conf

  • 配置文件

  # a表示给agent命名为a
  # 给source组件命名为r1
  a.sources = r1
  # 给sink组件命名为k1
  a.sinks = k1 
  # 给channel组件命名为c1
  a.channels = c1
  
  #指定exec的属性
  a.sources.r1.type = exec 	# 执行命令的属性
  a.sources.r1.command = tail -f /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log 	#命令
  
  #指定sink的类型
  a.sinks.k1.type = hdfs
  a.sinks.k1.hdfs.path = /flume/data/dir2
  # 指定文件名前缀
  a.sinks.k1.hdfs.filePrefix = hbaselog
  # 指定达到多少数据量写一次文件 单位：bytes
  a.sinks.k1.hdfs.rollSize = 102400
  # 指定多少条写一次文件
  a.sinks.k1.hdfs.rollCount = 1000
  # 指定文件类型为 流 来什么输出什么
  a.sinks.k1.hdfs.fileType = DataStream
  # 指定文件输出格式 为text
  a.sinks.k1.hdfs.writeFormat = text
  # 指定文件名后缀
  a.sinks.k1.hdfs.fileSuffix = .txt
  
  #指定channel
  a.channels.c1.type = memory 
  a.channels.c1.capacity = 1000
  # 表示sink每次会从channel里取多少数据
  a.channels.c1.transactionCapacity = 100
  
  # 组装
  a.sources.r1.channels = c1 
  a.sinks.k1.channel = c1
  

• hbaselogToHBase.conf

  • 先在hbase中创建log表

  create 'log','cf1'
  

  • 配置文件

  # a表示给agent命名为a
  # 给source组件命名为r1
  a.sources = r1
  # 给sink组件命名为k1
  a.sinks = k1 
  # 给channel组件命名为c1
  a.channels = c1
  
  #指定exec的属性
  a.sources.r1.type = exec 
  a.sources.r1.command = cat /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log
  
  #指定sink的类型
  a.sinks.k1.type = hbase
  a.sinks.k1.table = log
  a.sinks.k1.columnFamily = cf1
  
  #指定channel
  a.channels.c1.type = memory 
  a.channels.c1.capacity = 100000
  # 表示sink每次会从channel里取多少数据
  a.channels.c1.transactionCapacity = 100
  
  # 组装
  a.sources.r1.channels = c1 
  a.sinks.k1.channel = c1
  

• netcatLogger.conf

  监听telnet端口

  • 安装telnet

  yum install telnet
  

  • 配置文件

  # a表示给agent命名为a
  # 给source组件命名为r1
  a.sources = r1
  # 给sink组件命名为k1
  a.sinks = k1 
  # 给channel组件命名为c1
  a.channels = c1
  
  #指定netcat的属性
  a.sources.r1.type = netcat 
  a.sources.r1.bind = 0.0.0.0 
  a.sources.r1.port = 8888 
  
  #指定sink的类型
  a.sinks.k1.type = logger
  
  #指定channel
  a.channels.c1.type = memory 
  a.channels.c1.capacity = 1000
  # 表示sink每次会从channel里取多少数据
  a.channels.c1.transactionCapacity = 100
  
  # 组装
  a.sources.r1.channels = c1 
  a.sinks.k1.channel = c1
  

  • 启动

    • 先启动agent

    flume-ng agent -n a -f ./netcatToLogger.conf -Dflume.root.logger=DEBUG,console
    

    • 再启动telnet

    telnet master 8888
    

• httpToLogger.conf

  • 配置文件

  # a表示给agent命名为a
  # 给source组件命名为r1
  a.sources = r1
  # 给sink组件命名为k1
  a.sinks = k1 
  # 给channel组件命名为c1
  a.channels = c1
  
  #指定http的属性
  a.sources.r1.type = http
  a.sources.r1.port = 6666 
  
  #指定sink的类型
  a.sinks.k1.type = logger
  
  #指定channel
  a.channels.c1.type = memory 
  a.channels.c1.capacity = 1000
  # 表示sink每次会从channel里取多少数据
  a.channels.c1.transactionCapacity = 100
  
  # 组装
  a.sources.r1.channels = c1 
  a.sinks.k1.channel = c1
  

  • 启动

    • 先启动agent

    flume-ng agent -n a -f ./httpToLogger.conf -Dflume.root.logger=DEBUG,console
    

    • 再使用curl发起一个http请求

      -X : 请求类型 GET|POST

      -d : 请求内容，包含请求头、请求体

      http://master:666 -- http路径

    curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]' http://master:666
    

通过Python也能发起对页面的请求

Postman

是Windows中用来发起请求的

Flume 对接 Kafka

• 配置文件

  FlumeToKafka.properties

agent.sources=s1
agent.channels=c1
agent.sinks=k1


agent.sources.s1.type=exec
#监听文件地址
agent.sources.s1.command=tail -F  /usr/local/soft/hadoop-2.7.6/logs/hadoop-root-namenode-master.log


agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100


#设置Kafka接收器
agent.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=master:9092


#设置Kafka的Topic   如果topic不存在会自动创建一个topic,默认分区为1，副本为1
agent.sinks.k1.topic=hadoop-namenode-log


#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder


#将三个主件串联起来
agent.sources.s1.channels=c1
agent.sinks.k1.channel=c1

• 启动

flume-ng agent -n agent -f ./FlumeToKafka.properties -Dflume.root.logger=DEBUG,console

• kafka 消费者消费数据

kafka-console-consumer.sh --zookeeper  master:2181  --from-beginning  --topic  hadoop-namenode-log