我 对logstash 采集过程的理解

 

logstash  大致分为三个部分 Input  filter 和 output

input 采集数据或者其它filebeat 传过来的数据，在input 开始是data数据，出了input 就是event   

           data数据  ------》input -----》 event 事件 -----》query   -------->filter  -------------》output

 

 

logstash 采集过滤和输出的过程

数据到了input会把原始数据转换成event 事件传送到query ，query 可以基于内存或者磁盘来做，磁盘可以保证数据不丢失，内存是内置大小的，不能设定。

pipline：pipeline.workers=2  工作线程会从 query 获取数据到filter 过滤再到output, pipline线程是根据batcher 来定时获取的，基于以下两个参数

pipeline.batch.size: 125
pipeline.batch.delay: 5