1-15日报

Sink组件

• Sink：从Channel消费event，输出到外部存储，或者输出到下一个阶段的agent
• 一个Sink只能从一个Channel中消费event
• 当Sink写出event成功后，就会向Channel提交事务。Sink 事务提交成功，处理完成的event将会被Channel删除。否 则Channel会等待Sink重新消费处理失败的event
• Flume提供了丰富的Sink组件，如Avro Sink、HDFS Sink、Kafka Sink、File Roll Sink、HTTP Sink等

Sink组件- Avro Sink

• Avro Sink常用于对接下一层的Avro Source，通过发送RPC请求将Event发送到下一层的Avro Source
• 为了减少Event传输占用大量的网络资源， Avro Sink提供了端到端的批量压缩数据传输

关键参数说明

type：Sink类型为avro。
hostname：绑定的目标Avro Souce主机名称或者IP
port：绑定的目标Avro Souce端口号
batch-size：批量发送Event数，默认值100
compression-type：是否使用压缩，如果使用压缩设则值为
“deflate”， Avro Sink设置了压缩那么Avro Source也应设置相同的 压缩格式，目前支持zlib压缩，默认值none
compression-level：压缩级别，0表示不压缩，从1到9数字越大压缩
效果越好，默认值6