摘要： 之前的博客一直在聊ELK集群中的存储、日志收集相关的组件的配置，但通常我们给用户使用不应该是一个黑黑的shell界面，通过接口去查询搜索；今天我们来聊ELK中的前端可视化组件kibana；kibana主要作用是用来展示、搜索、查看、分析、整合elasticsearch中存储的日志的一个web用户界面；使得让用户使用ELK更加直观； 阅读全文

摘要： 前面我们了解了elk集群中的logstash的用法，使用logstash处理日志挺好的，但是有一个缺陷，就是太慢了；当然logstash慢的原因是它依赖jruby虚拟机，jruby虚拟机就是用java语言开发的ruby虚拟机，本身java程序运行在jvm上就已经很慢了，而logstash还要运行在用java语言开发的ruby虚拟机上，就相当于虚拟机上跑一个虚拟机，可想而知；如果我们只需要收集和处理日志，在agent端如果运行logstash，显得格外的消耗资源；为了解决这种问题，elastic开发了一款更加轻量级的日志收集器beats；而filebeat只是其中的一种，它是基于收集本地日志文件中的内容，然后输出到某个地方；中间不会对日志做过多的处理；有点类似rsyslog，只做日志转发； 阅读全文

摘要： 前文我们了解了logstash的工作流程以及基本的收集日志相关配置，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13761906.html；今天我们来了解下logstash的常用input插件和filter插件的相关配置； 先说filter插件吧，继续上一篇博客的环境，我们配置logstash收集httpd的访问日志； 示例：配置logstash收集日志的时间戳为日志生成时的时间戳 阅读全文

摘要： logstash的工作原理类似Linux里的rsyslog，首先logstash会有一个数据输入源，也就是logstash去哪里采集数据，它的采集数据来源很多，比如从文件中采集，从某个tcp/udp端口采集，从redis的消息队列中采集，kafka啊、标准输入等等；它和rsyslog不同的是，rsyslog是把日志数据从一个地方转到另一个地方，中间不会去处理日志的格式，采集回来是什么样就是什么样；而logstash不一样，logstash它可以把采集回来的日志做格式化，以不同的编码形式向外输出；比如把nginx的日志采集回来，它可以以json格式输出；同时它还可以处理采集回来的日志，比如忽略某些字段的输出，把原有日志格式做切分；把原来不是json格式的日志，通过输出规则转换为json格式的日志； 阅读全文

摘要： 什么是ELK？ELK是Elasticsearch、Logstash、Kibana这三个软件的首字母缩写；其中elasticsearch是用来做数据的存储和搜索的搜索引擎；logstash是数据收集处理平台，它能够对特定的数据做分析、切词、收集、过滤等等处理，通常用于对日志的处理；kibana是用于把处理后的数据做可视化展示，提供一个web界面，方便我们去elasticsearch中检索想要的数据；elasticsearch是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索，支持分布式实现高可用，提供RESTfull风格的API接口，可以处理大规模日志数据； 阅读全文