随笔分类 - ELK
摘要：Kibana介绍 kibana(名字含义: kiwifruit + Banana) 是一个 可视化分析利器,基于 Logstash 的工具, 2013年加入 Elastic 公司. Kibana是一个开源的可视化平台,可以为 ElasticSearch 集群的管理提供友好的Web界面,帮助汇总,分析
阅读全文
摘要：什么是ELK? ELK是一套开源的日志分析系统, 由 elasticsearch + logstash + kibana 组成. elasticsearch: 分布式搜索引擎. logstash: 日志收集过滤. kibana: 图形化展示. 官网介绍: https://www.elastic.co
阅读全文
摘要：一 区域图统计 Visualize ==> Create a visualization ==> Area ==> 选择一个json格式日志 4.12.4：线图，line chart： 4.12.5: markdown： 4.12.6: 饼形图，pie chart：
阅读全文
摘要：一 logstash配置文件 [root@DNS-Server ~]# cat /etc/logstash/conf.d/java.conf input { file { path => "/var/log/logstash/logstash-plain.log" type => "java-log
阅读全文
摘要：一 简介： Filebeat是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。 流程：Filebeat收集日志发送到logstash > logstash收到日志写入redis或
阅读全文
摘要：实验简介: 由logstash收集nginx日志写入kafka中，在由另一台主机logstash读取kafka日志写入elasticsearch 一 logstash收集日志写入kafka 1.1.1 编写logstash配置文件 [root@localhost ~]# cat /etc/logst
阅读全文
摘要：实验简介: 由logstash收集nginx日志写入kafka中，在由另一台主机logstash读取kafka日志写入elasticsearch 一 logstash收集日志写入kafka 1.1.1 编写logstash配置文件 [root@localhost ~]# cat /etc/logst
阅读全文
摘要：由Logstash收集日志写入Redis，再有Logstash读取Redis在写入elasticsearch 作为日志缓存介质 官方文档：https://www.elastic.co/guide/en/logstash/current/plugins-outputs-redis.html 一 配置L
阅读全文
摘要：一 简介： Kafka 被称为下一代分布式消息系统，是非营利性组织ASF(Apache Software Foundation，简称为ASF)基金会中的一个开源项目，比如HTTP Server、Hadoop、ActiveMQ、Tomcat等开源软件都属于Apache基金会的开源软件，类似的消息系统还
阅读全文
摘要：一 简介： 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 二 编写Logstash TCP收集配置文件 [root@localhost ~]# cat /
阅读全文
摘要：一 配置tomcat日志为json格式 #注释原有日志 <!-- Access log processes all example. Documentation at: /docs/config/valve.html Note: The pattern used is equivalent to u
阅读全文
摘要：一 将nginx日志转换为json格式 31 # log_format main '$remote_addr - $remote_user [$time_local] "$request" ' 32 # '$status $body_bytes_sent "$http_referer" ' 33 #
阅读全文
摘要：一 修改kibana配置文件 [root@Centos-node6 ~]# vim /etc/kibana/kibana.yml server.host: "127.0.0.1" 二 安装Nginx并启动测试 [root@Centos-node6 ~]# yum -y install nginx [
阅读全文
摘要：一 简介： 主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。 二 安装kibana 2.1.1 安装 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-x86_64.rpm yum inst
阅读全文
摘要：一 简介： Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash整个ELK当中拥有最多插件的一个组件，其可以接收来自不同来源的数据并统一输出到指定的且可以是多个不同目的地。 二 安装logstash wget https://artifacts.elastic.co/down
阅读全文
摘要：可以实现对elasticsearch集群的状态监控与管理配置等功能。 git地址：https://github.com/mobz/elasticsearch-head 二 安装elasticsearch-head 1.1.1 安装 yum install -y npm git clone git:/
阅读全文
摘要：一.准备环境 1.1.1 关闭防火墙和Selinux 1.1.2 各服务器配置本地域名解析（准备两台机器即可） [root@Centos-node6 tools]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4
阅读全文