随笔分类 - ELK运维学习
摘要：背景 集群的索引没有预先规划大小，导致索引特别大，删除数据删除索引的形式进行，只能在原来的索引上进行数据删除操作。 删除索引时采用最经典的方式，即按照时间戳进行删除，比如删除90天以前的历史数据，保留最新的。 Elasticseach会有后台线程根据Lucene的合并规则定期进行segment me
阅读全文
摘要：目前elasticsearch的版本已经更新到7.0以上了，不过由于客户需要5.2.2版本的elasticsearch，所以还是需要安装的，并且安装上ansj分词器。在部署ES的时候，采用容器的方式进行部署。因此需要考虑到映射端口等问题。 关于docker下部署es的步骤就简单的写一下： 1、首先是
阅读全文
摘要：Filebeat内置了不少的模块，可以直接使用他们对日志进行收集，支持的模块如下： 只要是上面出现的filebeat都是支持的，但是使用它之前需要设置一下才可以使用，比如： 那这次我们来看看如何使用mysql模块收集mysql的慢查询日志和错误日志 1、首先是使filebeat支持mysql模块 2
阅读全文
摘要：老是在filebeat启动的这一步骤上出错，但是由于filebeat是由systemd启动的，因此原因也经常查不清楚，因此并不能直观的查出错误在哪里，所以今天教给大家两个寻找错误的根源的方法 先看我这次报的什么错误： 虽然启动报错了，但是报的不明不白，不知道如何下手。看看解决方法 1、查看Linux
阅读全文
摘要：1、zookeeper概念介绍 在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。 这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务
阅读全文
摘要：1、第一种，直接在配置文件中自定义时间格式 这是tomcat配置文件中的一段日志时间配置，按照这样的配置，那么输出的日志是这样子的： 然后你继续在logstash中这样子配置 此时logstash就不会报"_dateparsefailed"错误了。 这种形式在nginx、apache等web服务器中
阅读全文
摘要：1、先查看之前的状态日志输出格式：在logs/catalina.out这个文件中 最上面的日志格式我们可能不太习惯使用，所以能输出下面的格式是最好的，当然需要我们自定义日志格式，接下来看看如何修改 2、打开conf/loggind.proterties这个文件，按照如下所示修改 在此文件中添加如下内
阅读全文
摘要：这个案例中，tomcat产生的日志由filebeat收集，然后存取到redis中，再由logstash进行过滤清洗等操作，最后由elasticsearch存储索引并由kibana进行展示。 1、配置tomcat自定义日志 需要注意的是第一个X-Forwarded-For表示获取一个ip列表，但只有第
阅读全文
摘要：1、查看集群健康状态 2、查看集群节点 3、查看master节点状态 4、查看ES集群安装了什么插件 没有任何插件此时 5、查看集群索引 6、自定义显示节点状态。 先获取帮助 有非常多，想获取哪个就可以获取哪个。比如如下所示： 7、显示当前节点的ES信息 看到“you knoe , foe sear
阅读全文
摘要：今天做地图定位展示，展示的是ApacheWeb服务器的访问日志文件中的来源IP。但是中间出现了报错环节，说是索引不能匹配到geo_point类型，实在是不懂这是在说什么，后来在网站找了方法就解决了。主要报错如下： 报错信息： 觉得很是奇怪，再来看看我的配置文件 看上去都是没有问题的，只要是按照这个格
阅读全文
摘要：1、Head插件介绍以及下载 Head插件是Elasticsearch的图形化界面工具，通过此插件可以很方便的对数据进行增删改查等数据交互操作。在Elasticsearch5.x版本以后，head插件已经是一个独立的Web App了，所以不需要和Elasticsearch进行集成。可以将Head插件
阅读全文
摘要：1、收集访问日志 1）、首先是要在nginx里面配置日志格式化输出 2）、接下来开始在logstash创建处理nginx的配置文件 此处的例子借鉴ELKstack权威指南里面的例子，不过书中的例子有错，我这里修改好了，可以参考书籍39页和66页 github:https://github.com/w
阅读全文
摘要：1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是： “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样的IP地址。 例如： 我们的试验数据是： 1）我们举个例子来讲解过滤IP 现在启动一下： 2）举个例
阅读全文
摘要：Logstash最强大的功能在于丰富的过滤器插件。此过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理。甚至添加独特的事件到后续流程中。 1、logstash基本语法组成 logstash主要由三部分组成：input、filter、output。而filter就是过滤器
阅读全文
摘要：logstash是怎么工作的呢？ Logstash是一个开源的、服务端的数据处理pipeline（管道），它可以接收多个源的数据、然后对它们进行转换、最终将它们发送到指定类型的目的地。Logstash是通过插件机制实现各种功能的，读者可以在https://github.com/logstash-pl
阅读全文
摘要：在实验中logstash是作为日志过滤器的作用，日志收集使用的则是filebeat组件。redis作为缓存器，logstash从redis中拉取数据进行过滤并传给elasticsearch组件。 但是logstash总是启动失败，还没有报错信息，因此追查起来异常艰难。 就像上面的这个样子，什么也看不
阅读全文
摘要：这两天在搞elk的时候，filebeat中指定输出日志至Broker（此处Broker采用redis作为缓存），但是redis中却没有内容，所以就开始排查来 filebeat采用RPM安装的方式来的。 1、首先是检查filebeat的配置文件是否有问题： 注意：这个配置文件的这个红色方框中的内容是我
阅读全文
摘要：今天在安装filebeat的时候，出现了关于redis报错的问题，所以来总结一下： 报错信息是： 大概意思就是说redis工作于保护模式下，不可用。redis没有密码认证，不安全因此也不可用等信息。 后来在网上搜寻答案，查到了一些方法并且最后也解决了因此总结一下： 1、保护模式如何解除？ 修改red
阅读全文
摘要：今天我们来安装一下elasticsearch，我们采用RPM包安装的方式来，版本为6.5.4。系统为centos7.5版本。 1、首先设置系统环境 1）编辑/etc/sysctl.conf文件添加下面一行内容 这个参数会影响java线程数量，用于限制一个进程可以拥有的虚拟内存区域的大小。系统默认是6
阅读全文
摘要：安装elasticsearch报错如下： 所以就去网上查找资料，发现都不是适应自己的环境。最后在官网找到了方法： 不过先跟大家声明一点就是：环境不一样解决的方法也不一样，我这里是Centos7.5版本的系统，所有的服务都由systemd来管理。elasticsearch是6.5.4版本，使用RPM包
阅读全文
