nick_xm - 博客园

2020年12月9日

摘要： filebeat学习一、介绍 1.描述 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。阅读全文

posted @ 2020-12-09 10:50 nick_xm 阅读(71) 评论(0) 推荐(0) 编辑

收集TCP/UDP日志

摘要：收集TCP/UDP日志通过logstash的tcp/udp插件收集日志，通常用于在向elasticsearch日志补录丢失的部分日志，可以将丢失的日志通过一个TCP端口直接写入到elasticsearch服务器。 1.配置Logstash #进入Logstash配置文件目录 [root@redis 阅读全文

posted @ 2020-12-09 10:12 nick_xm 阅读(251) 评论(0) 推荐(0) 编辑

使用logstash配置rsyslog收集haproxy日志

摘要：一，使用logstash配置rsyslog收集haproxy日志 1.rsyslog介绍在centos 6及之前的版本叫做syslog，centos 7开始叫做rsyslog，根据官方的介绍，rsyslog(2013年版本)可以达到每秒转发百万条日志的级别，rsyslog是日志收集处理工具它提供阅读全文

posted @ 2020-12-09 10:08 nick_xm 阅读(238) 评论(0) 推荐(0) 编辑

2020年12月8日

kibana 页面作图

摘要：一、kibana页面作图（简单）查看日志，就算改成json格式，kibana收集到之后展示时还是一坨，我们想要用数据作图，必须将其修改为json格式，让索引支持使用日志中的key 1.修改logstash获取Tomcat日志作图 [root@web01 ~]# cat /etc/logstash/ 阅读全文

posted @ 2020-12-08 11:13 nick_xm 阅读(164) 评论(0) 推荐(0) 编辑

logstash 收集tomcat日志

摘要：四、logstash收集tomcat日志在企业中，我们看到tomcat日志遇到异常(exception)一条日志可能是几行或者十几行甚至几十行，组成的，那么，我们需要将多行日志变成一行日志，来收集 1.tomcat日志收集方式这里我们有几种方式可以实现： 1.将日志改成Json格式在企业中，阅读全文

posted @ 2020-12-08 10:59 nick_xm 阅读(655) 评论(0) 推荐(0) 编辑

2020年12月4日

logstash 收集nginx日志

摘要：一、logstash使用学习不难理解，我们的日志通常都是在日志文件中存储的，所以，当我们在使用INPUT插件时，收集日志，需要使用file模块，从文件中读取日志的内容，那么接下来讲解的是，将日志内容输出到另一个文件中，如此一来，我们可以将日志文件同意目录，方便查找。注意：Logstash与其他服阅读全文

posted @ 2020-12-04 20:09 nick_xm 阅读(1315) 评论(0) 推荐(0) 编辑

es 插件kibana介绍

摘要： kibana区域定义 1.时间区域： 1）快速查询 2）时间范围查询 3）精确时间范围查询 4）使用过的时间区域 2.搜索区域：可以根据关键字，状态码等搜索需要的数据 3.数据展示区域：将收集的对应索引的日志展示在页面上 4.日志列表区域：可以选择需要的字段进行数据的展示，不需要的可以移除阅读全文

posted @ 2020-12-04 19:45 nick_xm 阅读(278) 评论(0) 推荐(0) 编辑

2020年12月3日

elk 介绍与logstash插件

摘要：一，ELK介绍 1.什么是ELK ELK是三个软件组成的 E：elasticsearch #java程序存储，查询日志 L：logstash #java程序收集，过滤日志 K：kibana #java程序展示，数据页面化 F：filebeat #go语言收集，过滤日志 2.ELK的作用 1. 阅读全文

posted @ 2020-12-03 19:45 nick_xm 阅读(137) 评论(0) 推荐(0) 编辑

es 中文分词器IK

摘要：一，lk分词器概述 1.1 IK分词器简介 IKAnalyzer 是一个开源的，基于 Java 语言开发的轻量级的中文分词工具包，从 2006 年 12 月推出 1.0 版开始，IKAnalyzer 已经推出了 3 个大版本。最初，它是以开源项目 Lucene 为应用主体的，结合词典分词和文法分析算阅读全文

posted @ 2020-12-03 09:58 nick_xm 阅读(566) 评论(0) 推荐(0) 编辑

es 备份与恢复

摘要：一、数据的备份和恢复 1.1安装es-dump 第一步：下载node依赖包官网下载地址：nodejs.org Download | Node.js node-v10.16.3-linux-x64.tar.xz 第二步解压部署软件 tar xf node-v10.16.3-linux-x64.tar 阅读全文

posted @ 2020-12-03 09:32 nick_xm 阅读(530) 评论(0) 推荐(0) 编辑

nick_小浪

公告