随笔分类 - elk
摘要：一、filebeat收集单日志到本地文件 1.配置 [root@web01 ~]# vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log
阅读全文
摘要：一、Logstash与Redis那点事 在企业中，日志规模的量级远远超出我们的想象，这就是为什么会有一家公司 日志易 专门做日志收集，给大型金融公司收集日志，比如银行，因为你有可能看到，1秒钟好几千万的日志量，往服务器写入，那么企业中的集群，架构都不是单台的，而是多台的，一台如果是1千万，那么5台的
阅读全文
摘要：filebeat学习 一、介绍 1.描述 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。
阅读全文
摘要：收集TCP/UDP日志 通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis
阅读全文
摘要：一，使用logstash配置rsyslog收集haproxy日志 1.rsyslog介绍 在centos 6及之前的版本叫做syslog，centos 7开始叫做rsyslog，根据官方的介绍，rsyslog(2013年版本)可以达到每秒转发百万条日志的级别，rsyslog是日志收集处理工具 它提供
阅读全文
摘要：一、kibana页面作图（简单） 查看日志，就算改成json格式，kibana收集到之后展示时还是一坨，我们想要用数据作图，必须将其修改为json格式，让索引支持使用日志中的key 1.修改logstash获取Tomcat日志作图 [root@web01 ~]# cat /etc/logstash/
阅读全文
摘要：四、logstash收集tomcat日志 在企业中，我们看到tomcat日志遇到异常(exception)一条日志可能是几行或者十几行甚至几十行， 组成的，那么，我们需要将多行日志变成一行日志，来收集 1.tomcat日志收集方式 这里我们有几种方式可以实现： 1.将日志改成Json格式 在企业中，
阅读全文
摘要：一、logstash使用学习 不难理解，我们的日志通常都是在日志文件中存储的，所以，当我们在使用INPUT插件时，收集日志，需要使用file模块，从文件中读取日志的内容，那么接下来讲解的是，将日志内容输出到另一个文件中，如此一来，我们可以将日志文件同意目录，方便查找。 注意：Logstash与其他服
阅读全文
摘要：kibana区域定义 1.时间区域： 1）快速查询 2）时间范围查询 3）精确时间范围查询 4）使用过的时间区域 2.搜索区域： 可以根据关键字，状态码等搜索需要的数据 3.数据展示区域： 将收集的对应索引的日志展示在页面上 4.日志列表区域： 可以选择需要的字段进行数据的展示，不需要的可以移除
阅读全文
摘要：一，ELK介绍 1.什么是ELK ELK是三个软件组成的 E：elasticsearch #java程序 存储，查询日志 L：logstash #java程序 收集，过滤日志 K：kibana #java程序 展示，数据页面化 F：filebeat #go语言 收集，过滤日志 2.ELK的作用 1.
阅读全文
摘要：一，lk分词器概述 1.1 IK分词器简介 IKAnalyzer 是一个开源的，基于 Java 语言开发的轻量级的中文分词工具包，从 2006 年 12 月推出 1.0 版开始，IKAnalyzer 已经推出了 3 个大版本。最初，它是以开源项目 Lucene 为应用主体的，结合词典分词和文法分析算
阅读全文
摘要：一、数据的备份和恢复 1.1安装es-dump 第一步：下载node依赖包 官网下载地址：nodejs.org Download | Node.js node-v10.16.3-linux-x64.tar.xz 第二步解压部署软件 tar xf node-v10.16.3-linux-x64.tar
阅读全文
摘要：一、集群的介绍 1.集群的介绍 1.集群部署好以后，不论在哪一台节点操作，都可以互相看到数据 2.head插件连接任意一台机器都能看到三台 3.数据会自动调度到多个分片 4.如果主节点的分片出现故障，副节点的分片会自动切换为主分片 5.如果主节点出现问题，那么数据节点会自动切换为主节点 2.查看集群
阅读全文
摘要：一、ES集群 1.ES插件页面 1）集群状态 1.红色：数据不完整 2.黄色：数据完整，但是副本有问题 3.绿色：数据和副本全部都没有问题，集群状态正常 2）节点类型 1.主节点：负责调度分配数据存储 2.数据节点：负责储存由主机点传来的数据 3）分片 1.主分片：存储数据，负责读写数据 2.副本分
阅读全文
摘要：一、ES数据的操作 1.创建索引 1）语法 PUT /<index> 2）示例 PUT /index curl -XPUT 'http://10.0.0.71:9200/index' 2.创建数据 1）数据结构 ES存储三个必要构成 _index _type _id 构成 说明 _index 索引（
阅读全文
摘要：Elasticsearch 学习 一、生活中的数据 1.数据的分类 1）结构化数据 行数据，以二维表的形式存储 2）非结构化数据 没有具体的结构，视频，文本，音乐文件 3）半结构化数据 xml表格，word文档，PPT，html文件 2.搜索的种类 1）结构化数据搜索 数据之间我们会对他建立一定的关
阅读全文
