Logstash优化吞吐率

优化相关

修改logstash.yml配置文件

一、pipeline.workers（实际output 时的线程数）

决定filter和output的线程数，官方建议大于CPU数，如果logstah节点是混用服务器，
建议等于或小于CPU数

二、pipeline.batch.size（每次发送的事件数）

单个线程每次调用ES bulk index API时的事件数。
这些时间将被放到内存中。最好的设定值是不断地测试，测试，测试。

三、pipeline.batch.delay（发送延时）

创建流水线事件批次时，在将尺寸过小的批次分派给流水线工作人员之前等待每个事件的时间（以毫秒为单位）。

四、JVM_heap

内存堆大小，通过配置jvm_option来修改。

生产参考

pipeline.workers: 20
pipeline.batch.delay: 10
pipeline.batch.size: 5000

官方文档：https://www.elastic.co/guide/en/logstash/current/logstash-settings-file.html