随笔分类 - ELK
摘要：1、Kibana >keepalived VIP + haproxy 代理elasticsearch 集群 < logstash 数据写入 2、Kibana >keepalived VIP + haproxy 代理elasticsearch 集群 <—— logstash <—— filebeat数
阅读全文
摘要：Filebeat 支持将数据直接写入到 redis 服务器，本步骤为写入到 redis ，另外 filebeat 还支持写入到 elasticsearch、logstash 等服务器。 grep -v "#" /etc/filebeat/filebeat.yml | grep -v "^$" fil
阅读全文
摘要：filebeat作为轻量级日志收集软件，不依赖java环境，不消耗内存，可以用户无法安装java环境的服务器或容器使用。 一、使用filebeat收集日志写入kafka [root@linux-host2 src]# grep -v "#" /etc/filebeat/filebeat.yml |
阅读全文
摘要：用一台服务器按照部署 redis 服务，专门用于日志缓存使用，用于 web 服务器产生大量日志的场景，例如下面的服务器内存即将被使用完毕，查看是因为 redis服务保存了大量的数据没有被读取而占用了大量的内存空间。 部署redis [root@linux-host2 ~]# cd /usr/loca
阅读全文
摘要：haproxy配置文件日志选项 [root@linux-host2 haproxy-1.7.5]# cat /etc/haproxy/haproxy.cfg global maxconn 100000 chroot /usr/local/haproxy uid 99 gid 99 daemon nb
阅读全文
摘要：自定义nginx日志格式为json log_format access_json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size":$body_bytes_se
阅读全文
摘要：使用 codec 的 multiline 插件实现多行匹配，这是一个可以将多行进行合并的插件，而且可以使用 what 指定将匹配到的行与前面的行合并还是和后面的行合并。 https://www.elastic.co/guide/en/logstash/current/plugins-codecs-m
阅读全文
摘要：前提需要 logstash 用户对被收集的日志文件有读的权限并对写入的文件有写权限。如果启动用户是logstash。 默认启动加载配置文件：/etc/logstash/conf.d/，所有的日志收集配置文件应该放在这个路径。 1、 收集 单个 系统 日志 并 输出至文件 [root@linux-ho
阅读全文
摘要：什么是 是 ELK ？通俗来讲，ELK 是由 Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，ELK 是 elastic 公司研发的一套完整的日志收集、分析和展示的企业级解决方案，在这三个软件当中，每个软件用于完成不同的功能，ELK 又称为 ELK sta
阅读全文
摘要：官网：Multiline codec plugin | Logstash Reference [8.2] | Elastic Master 与 Slave 的区别 Master 的职责：统计各 node 节点状态信息、集群状态信息统计、索引的创建和删除、索引分配的管理、关闭 node 节点等 Sla
阅读全文
