Flume | 安装部署
Flume安装部署
- 地址
- 解压安装
- 下载
apache-flume-1.7.0-bin.tar.gz
上传到/opt/software
目录 解压到/opt/module/flume
- flume整体部署配置
- 将
flume/conf
下的flume-env.sh.template
文件修改为flume-env.sh
,并配置flume-env.sh
文件
mv flume-env.sh.template flume-env.sh
vi flume-env.sh
//java环境的地址
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 整体配置完成
入门案例
- 要求:实时监控 Hive 日志,并上传到 HDFS 中
- Flume 要想将数据输出到 HDFS,须持有 Hadoop 相关 jar 包 将下列 jar 包拷贝到
/opt/module/flume/lib
文件夹下
- 新建文件夹
job
在文件夹中创建flume-file-hdfs.conf
文件 添加如下内容:
# Name the components on this agent
a2.sources = r2
a2.sinks = k2
a2.channels = c2
# Describe/configure the source
a2.sources.r2.type = exec
a2.sources.r2.command = tail -F /opt/module/hive/logs/hive.log
a2.sources.r2.shell = /bin/bash -c
# Describe the sink
a2.sinks.k2.type = hdfs
a2.sinks.k2.hdfs.path = hdfs://hadoop102:9000/flume/%Y%m%d/%H
#上传文件的前缀
a2.sinks.k2.hdfs.filePrefix = logs-
#是否按照时间滚动文件夹
a2.sinks.k2.hdfs.round = true
#多少时间单位创建一个新的文件夹
a2.sinks.k2.hdfs.roundValue = 1
#重新定义时间单位
a2.sinks.k2.hdfs.roundUnit = hour
#是否使用本地时间戳
a2.sinks.k2.hdfs.useLocalTimeStamp = true
#积攒多少个 Event 才 flush 到 HDFS 一次
a2.sinks.k2.hdfs.batchSize = 1000
#设置文件类型,可支持压缩
a2.sinks.k2.hdfs.fileType = DataStream
#多久生成一个新的文件
a2.sinks.k2.hdfs.rollInterval = 30
#设置每个文件的滚动大小
a2.sinks.k2.hdfs.rollSize = 134217700
#文件的滚动与 Event 数量无关
a2.sinks.k2.hdfs.rollCount = 0
# Use a channel which buffers events in memory
a2.channels.c2.type = memory
a2.channels.c2.capacity = 1000
a2.channels.c2.transactionCapacity = 100
# Bind the source and sink to the channel
a2.sources.r2.channels = c2
a2.sinks.k2.channel = c2
对于所有与时间相关的转义序列,Event Header 中必须存在以 “timestamp”的 key(除非hdfs.useLocalTimeStamp 设置为 true,此方法会使用TimestampInterceptor 自动添加timestamp)
如: a2.sinks.k2.hdfs.useLocalTimeStamp = true
- 配置解释
- 运行Flume
bin/flume-ng agent --conf conf/ --name a2 --conf-file job/flume-file-hdfs.conf
- 开启 Hadoop 和 Hive 并操作 Hive 产生日志
- 上HDFS上查看文件
产生一个flume文件夹代表成功
Flume 简单理解
- Sourc 负责用各种方式读取各种地点各种数据(如:从服务器本地读取动态变化的日志,静态的文件,考虑断点续传等等)
- Channel 负责传输(有保护作用,不至于读快来不及写导致应用崩溃)
- Sink 负责写把数据到各种地点(如:上传到HDFS、打印到控制台等等)
- Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的 Agent 主要有 3 个部分组成,Source、Channel、Sink
- Event Flume 数据传输的基本单元,以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 Body 两部分组成,Header 用来存放该 event 的一些属性,为 K-V 结构,Body 用来存放该条数据,形式为字节数组
- 基础架构图