Flume 安装和配置

安装步骤

1.安装jdk，1.6版本以上

2.上传flume的安装包

3.解压安装

4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定）

5.配置agent组件

相关配置：

#配置Agent a1 的组件
a1.sources=r1
a1.channels=c1  (可以配置多个，以空格隔开，名字自己定）
a1.sinks=s1  (可以配置多个，以空格隔开，名字自己定）
 
#描述/配置a1的r1
a1.sources.r1.type=netcat  (netcat表示通过指定端口来访问)
a1.sources.r1.bind=0.0.0.0  (表示本机)
a1.sources.r1.port=44444  （指定的端口，此端口不固定，但是不要起冲突）
 
#描述a1的s1
a1.sinks.s1.type=logger    (表示数据汇聚点的类型是logger日志）
 
#描述a1的c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
 
#位channel 绑定 source和sink
a1.sources.r1.channels=c1  （一个source是可以对应多个通道的）
a1.sinks.s1.channel=c1  (一个sink,只能对应一个通道）

6.根据指定的配置文件，来启动flume

进入flume的bin目录

执行： ./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf  -Dflume.root.logger=INFO,console

如果出现上图所示，证明配置和启动成功

 

7.通过nc来访问：

nc localhost 44444

hello flume

或者：

通过外部http请求访问对应的ip和端口

比如：http://192.168.234.163:44444/hello

在虚拟机这边，会出现如下提示：

启动命令解释

参数	描述
agent	运行一个Flume Agent
--conf,-c <conf>	指定配置文件放在什么目录
--conf-file,-f <file>	指定配置文件，这个配置文件必须在全局选项的--conf参数定义的目录下
--name,-n <name>	Agent的名称，注意：要和配置文件里的名字一致。
-Dproperty=value	设置一个JAVA系统属性值。常见的：-Dflume.root.logger=INFO,console