随笔分类 - Logstash
摘要：背景 logstash集群，每个节点服务器配置和任务配置相同，但是其中一个节点发生比较大的消费延迟 定位 观察发现出问题的节点负载比其他节点要低很多，进一步对比logstash进程内线程的情况，发现出问题的节点只有4个worker进程，而正常节点有16个worker进程 进一步排查发现问题节点的lo
阅读全文
摘要：logstash一个实例运行多个配置文件，将所有配置文件放到以下目录即可 /usr/share/logstash/pipeline 但是默认行为不是每个配置文件独立运行，而是作为一个整体，每个input会匹配所有的filter，然后匹配所有的output，可能会导致数据被错误的处理以及发送到错误的地
阅读全文
摘要：logstash input插件之mongodb是第三方的，配置如下： input { mongodb { uri => 'mongodb://mongo_server:27017/db' placeholder_db_dir => '/path/to/db_dir/' placeholder_db
阅读全文
摘要：有两种方式来监控logstash： api ui（xpack） When you run Logstash, it automatically captures runtime metrics that you can use to monitor the health and performanc
阅读全文
摘要：logstash高可用体现为不丢数据（前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程），具体有两个方面： 进程重启（服务器重启） 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter Queues 默认都没有开启； 另外可以
阅读全文
摘要：yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metrics resource provides some overall metrics about the clust
阅读全文
摘要：logstash6.6.0-6.6.2版本使用jdbc input plugin时如果设置了jdbc_default_timezone，会报错： { 2012 rufus-scheduler intercepted an error: 2012 job: 2012 Rufus::Scheduler:
阅读全文
摘要：一个logstash很容易通过http打断成两个logstash实现跨服务器或者跨平台间数据同步，比如原来的流程是 logstash: nginx log -> kafka 打断成两个是 logstash1: nginx log -> http out logstash2: http in ->ka
阅读全文
摘要：从nginx日志中进行url解析 /v1/test?param2=v2¶m3=v3&time=2019-03-18%2017%3A34%3A14->{'param1':'v1','param2':'v2','param3':'v3','time':'2019-03-18 17:34:14'}
阅读全文
摘要：Logstash 6.6.2 官方：https://www.elastic.co/products/logstash 一 简介 Centralize, Transform & Stash Your Data Logstash is an open source, server-side data p
阅读全文
摘要：应用一：mysql数据增量同步到kafka 1 准备mysql测试表 mysql> create table test_sync(id int not null auto_increment, name varchar(32), description varchar(64), create_tim
阅读全文
摘要：提前安装好elk（elasticsearch、logstach、kibana） 一 启动logstash $LOGSTASH_HOME默认位于/usr/share/logstash或/opt/logstash 1 nginx日志使用默认格式 log_format main '$remote_addr
阅读全文
