摘要: 使用场景 当Elasticsearch集群中有节点挂掉,我们可以去查看集群的日志信息查找错误,不过在查找错误日志之前,我们可以通过elasticsearch的 "cat api" 简单判断下各个节点的状态,包括磁盘,heap,ram的使用情况,先做初步判断。 在浏览器中输入: 修正 localhos 阅读全文
posted @ 2018-10-22 20:20 杨文波 阅读(7526) 评论(0) 推荐(1) 编辑
摘要: 前言:本文主要演示了如何通过c 来操作elasticsearch,分两个方面来演示: 索引数据 搜索数据 Note: 注意我索引数据和搜索数据是两个不同的例子,没有前后依赖关系 准备工作:需要在visual studio 用NuGet 搜索 NEST,下载NEST 2.3即可 注意elasticse 阅读全文
posted @ 2018-10-22 20:18 杨文波 阅读(2506) 评论(0) 推荐(0) 编辑
摘要: 本文的来源是我翻译国外的一篇技术博客,感谢原作者Emily Chang, "原文地址" 通过如下的知识,我们能大致学到关于ES的一些基本知识,进而对elasticsearch的性能进行监控和调优 注意elasticsearch的版本不同,此处的描述可能会有稍许偏差 一、Elasticsearch 是 阅读全文
posted @ 2018-10-22 20:08 杨文波 阅读(1953) 评论(0) 推荐(0) 编辑
摘要: 前言:GC 时间过长是个常见的问题,下文我将对应的现象和解决方案进行阐述。为什么这么解决,可以参考我的另外一个博客中的内存使用和GC指标这个章节 我们有时会发现elasticsearch集群挂掉,或者有点数据节点脱离集群,这里有可能是GC方面的原因,实质是内存的原因。 一、日志表现 二、解决办法 出 阅读全文
posted @ 2018-10-22 18:41 杨文波 阅读(5176) 评论(0) 推荐(0) 编辑
摘要: 前言:本文为参考他人的文章,是一篇学习记录型博客。理解linux的系统缓存机制有助于理解elasticsearch实时更新的原理。 一、缓存机制 为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存区找是否有请求的数据,有就直接返 阅读全文
posted @ 2018-10-22 17:57 杨文波 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 本文为es性能监控基础的扩展,大家可以先看下性能监控基础,熟悉下es的基本原理。为翻译性质文档,感谢原作者,原始文档地址 类似于汽车的运行方式,Elasticsearch旨在让用户快速上手和运行,而无需了解其所有的内部工作。然而我们在使用过程中,总会遇到这样那样的问题。下文将介绍Elasticsea 阅读全文
posted @ 2018-10-22 17:53 杨文波 阅读(6248) 评论(0) 推荐(0) 编辑
摘要: 前言:本文为学习整理实践他人成果的记录型博客。在此统一感谢各原作者,如果你对基础知识不甚了解,可以通过查看 "Elasticsearch权威指南中文版" , 此处注意你的elasticsearch版本,版本不一样,可能有偏差 Q1: Elasticsearch是如何实现Master选举的 1. El 阅读全文
posted @ 2018-10-22 17:45 杨文波 阅读(891) 评论(0) 推荐(0) 编辑
摘要: 一、完整过程比较长,我仅给出Azure vm extension script 一键部署Elasticsearch集群的安装脚本,有需要的同学,可以邮件我,我给你完整的ARM Template 如果你不是用Azure VM ,也没关系,我的bash脚本都是一个个的函数,你可以自己改造成自己的Linu 阅读全文
posted @ 2018-10-22 17:40 杨文波 阅读(253) 评论(0) 推荐(0) 编辑
摘要: Logstash解析IIS日志的核心在于logstash配置文件 IIS 日志位置和格式如下: logstash配置文件如下 从Elasticsearch看解析后的IIS日志 IIS日志的各种信息,包括浏览器信息等,都被解析出来 阅读全文
posted @ 2018-10-22 17:22 杨文波 阅读(553) 评论(0) 推荐(0) 编辑
摘要: 在某些情况下,有些日志文本文件类json,但它的是单引号,具体格式如下,我们需要根据下列日志数据,获取正确的字段和字段类型 此时我们如果当json直接用 "logstash Json filter plugin" 来解析会如下报错 此处我认为简单的做法是替换单引号为双引号,替换过程应用了 "logs 阅读全文
posted @ 2018-10-22 16:59 杨文波 阅读(11828) 评论(0) 推荐(0) 编辑
摘要: 一、场景:此文以一个简单的json字符串文件为例,描述如何用logstash解析嵌套的json,并删除其中的某些字段 我们在linux中test.json的内容如下: 为了方便查看,formate后,为如下格式 二、目的: 我们需要解析这个json,并且删除json中 "src_ip" 字段和 "h 阅读全文
posted @ 2018-10-22 16:50 杨文波 阅读(3100) 评论(0) 推荐(0) 编辑
摘要: logstash解析json数组是一种常见的需求,我以网上一组数据为例来描述 我们的数据test.json内容如下:(此处我linux上的json文本需要是compact的) 为了方便看清楚内容,我们format后查看: 我们可以看到 bean 字段下是一个json数组,解析这种json数组,我们需 阅读全文
posted @ 2018-10-22 16:46 杨文波 阅读(5987) 评论(1) 推荐(0) 编辑
摘要: 一、现象 很多同学在用logstash input 为file的时候,经常会出现如下问题:配置文件无误,logstash有时一直停留在等待输入的界面 二、原因解释 logstash作为日志分析的管道,在实际场景中,日志量往往很大,因此不可能每次都是完整扫描一遍日志文件,然后导入。通常采用的办法就是增 阅读全文
posted @ 2018-10-22 16:40 杨文波 阅读(567) 评论(0) 推荐(0) 编辑
摘要: Datadog is a monitoring service that gathers monitoring data from your containers within your Azure Container Service cluster. Datadog has a Docker In 阅读全文
posted @ 2018-10-22 16:28 杨文波 阅读(1000) 评论(0) 推荐(0) 编辑