浅谈flume
flume
做日志收集的工具，将数据源导入到指定目标中。flume之间可以相互连接
组件
source：如何从数据源中取数据，可以认为是两种主动source（主动取数据）和被动source（推给source，source作为服务接收数据）
channel：数据缓冲区
sink：如何将数据写到目标中
上面3个组件都在一个agent中，agent是一个任务
安装（依赖jdk）
使用netcat Source做个示例
vi test # 创建一个agent配置文件，用来配置sink，source，channel
内容如下
a1.sources = r1 # agent组件名字叫做a1，sources组件名字叫做r1
a1.sinks = k1 # sinks组件叫做k1
a1.channels = c1
a1.sources.r1.type = netcat # source的类型是netcat
a1.sources.r1.bind = localhost # 监听地址
a1.sources.r1.port = 44444 # 监听端口
a1.sinks.k1.type = logger # sink类型是logger
a1.channels.c1.type = memory # channel的类型是内存缓冲区
a1.channels.c1.capacity = 1000 # 大小（字节为单位）
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
如果要做flume负载均衡，可以设置多个sink，比如：a1.sinks=k1 k2，默认是轮询策略（round_robin）
启动
./bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
--conf或者-c # flume的整个配置目录（这里是目录不是文件，就是flume的conf目录）
--conf-file或者-f # agent的配置文件
--name或者-n # agent名字
-Dflume.root.logger # logger的日志级别（info级别）和logger输出日志到哪里去（console表示控制台）
可以用 telnet ip 端口 命令进行测试
常用source配置
1.avro（被动的）基于rpc协议进行数据传输，它传输的数据格式是avro格式，只能接收传过来avro格式的数据
a1.sources.r1.type = avro
a1.sources.r1.bind = 192.168.237.130 # 配置监听的ip
a1.sources.r1.port = 4444 # 配置监听的端口
2.Spooling Directory（主动）主动读目录中的数据
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir=/opt/flume # 指定目录
3.netcat（被动）是个服务，所以一定会监听某个端口，基于tcp协议的
a1.sources.r1.type = netcat # source的类型是netcat
a1.sources.r1.bind = localhost # 监听地址
a1.sources.r1.port = 44444 # 监听端口
4.exec（主动）通过命令主动从本地获取数据
a1.sources.r1.type = exec
a1.sources.r1.port = tail -F /opt/data/access.log # 通过什么命令来读数据
5.kafka
6.netcat
7.syslog（被动）
常用sink配置
1.avro
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = 192.168.237.130 # 服务端的主机名
a1.sinks.k1.type = 4444 # 服务端的端口
2.file roll写到目录中
a1.sinks.k1.type = file_roll
a1.sinks.k1.sink.directory = /opt/sink # 指定写到哪个目录中，需要手动创建目录
a1.sinks.k1.sink.rollInterval = 600 # 每10分钟写成一个文件
3.HDFS
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://node1:900/flume/data # 只当hdfs目录，如果是高可用的HDFS直接使用服务名就可以
下面三个配置一定要配置，如果不配置生成的文件会很乱
a1.sinks.k1.hdfs.rollInterval = 0 # 根据时间间隔生成文件，0表示不启用，秒作为单位
a1.sinks.k1.hdfs.rollSize = 10240000 # 根据文件大小生产文件，kb作为单位，0为不启用，这里用10M
a1.sinks.k1.hdfs.rollCount = 0 # 根据写的次数生成文件，0表示不启用
a1.sinks.k1.hdfs.idleTimeout = 5 # 超时多少秒后把这个文件关闭，0是不关闭的，在tmp目录中一直会有个文件，这里设置5s，如果5s后没有新数据来就关闭
a1.sinks.k1.hhdfs.fileType = DataStream # 文件类型，默认是SequenceFile，DataStream 不压缩的
a1.sinks.k1.hdfs.batchSize = 1000 # 批处理的数据大小，可以加快写的速度
为了方便管理可以设置以日期作为目录结构
a1.sinks.k1.hdfs.useLocalTimeStamp = true # 默认false，开启使用本地时间戳作为格式，然后a1.sinks.k1.hdfs.path = hdfs://node1:900/flume/data/%Y/%m/%d以年月日做目录
4.null就是Linux中/dev/null
5.ElasticSearch
6.hbase
7.kafka（需要flume1.6.0及以上，因为之前的版本需要额外下载插件）
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = test # 设置topic
a1.sinks.k1.kafka.bootstrap.servers = 192.168.237.130:9092,192.168.237.129:9092,192.168.237.128:9092 # 设置kafka的zookeeper
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
补充
1.flume占用的内存是jvm的，如果flume内存不够了，修改conf/flume-env.sh设置堆内存和栈内存export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"并打开
2.如果想写到数据库中就需要自定义sink了，需要写个类继承某个类实现方法，里面的process就是写数据方法，打包放到flume中lib目录中，然后就配置
a1.channels = c1
a1.sinks = k1
a1.sinks.k1.type = org.example.MySink
a1.sinks.k1.channel = c1
具体可以看开发向导中找sink，也可以自定义source，process方法就是读数据
网址http://flume.apache.org/releases/content/1.9.0/FlumeDeveloperGuide.html的Client
3.flume通过环境变量找到Hadoop的配置文件和jar包，所以flume所在的机器上一定要配置Hadoop_home，但是可以不跑Hadoop进程。如果Hadoop高可用还要配置zookeeper的环境变量
