随笔分类 - Elastic Stack
ELK+Beans
摘要:一、前言 主要来讲述一下Kibana使用以及上生产时候的一些配置,要是大家对这块比较感兴趣我到时候也可以在结合Grafana做一些图表方面的介绍,后面等介绍完Beats以后我去阿里云租几台机器,给大家来个ELK方面的实战,然后要是时间充分在和大家一起学习下Elasticsearch源码,废话不多说开
阅读全文
摘要:一、前言 很久没有更新博客,实在对不住大家。从10月份假期以后我就开始优化程序,来应对双11,这段时间确实很忙,不好意思。好在优化效果还不错,我负责的模块在双11期间没有任何大问题,整体效果还是比较好的,直到本周才正真的做到解放。扯淡过后,这里我还是开始我们监控篇,监控有些数据还是要借助于Kiban
阅读全文
摘要:一、前言 前4篇将Elasticsearch用法的API和原理方面东西介绍了一下,相信大家对Elasticsearch有了一定的认知,接下我们主要从索引的建立到后期的一些优化做一些介绍; 二、Mapping构建 之前介绍过Index就如同我们的数据库database,type相当于我们的表,而Map
阅读全文
摘要:一、前言 上一篇说了一下查询和存储机制,接下来我们主要来说一下排序、聚合、分页; 写完文章以后发现之前文章没有介绍Coordinating Node,这个地方补充说明下Coordinating Node(协调节点):搜索请求或索引请求可能涉及保存在不同数据节点上的数据。例如,搜索请求在两个阶段中执行
阅读全文
摘要:一、前言 上一篇说了这篇要讲解Search机制,但是在这个之前我们要明白下文件是怎么存储的,我们先来讲文件的存储然后再来探究机制; 二、文档存储 之前说过文档是存储在分片上的,这里要思考一个问题:文档是通过什么方式去分配到分片上的?我们来思考如下几种方式: 1.通过文档与分片取模实现,这样做的好处在
阅读全文
摘要:一、前言 写博客,更要努力写博客! 二、Mapping介绍 Mapping类似于数据库中的表结构的定义:这里我们试想一下表结构定义需要那些: 1.字段和字段类型,在Elasticsearch中的体现就是索引的结构,定义索引的字段Field Name和字段类型,上一篇有简单介绍一下字段有那些类型; 2
阅读全文
摘要:一、前言 前篇写了好像没有多少人去看,但是还是要继续,我猜想可能是很多人接触的这块比较少吧,Elasticsearch这块有很多要说的,开始吧。 二、数据库、Elasticsearch选择 传统的数据由于采用的是B+树的索引,当数据量很大很大的时候,例如单表1Y以上的时候当我们在想做like操作的时
阅读全文
摘要:一、前言 Elasticsearch对外提供RESTful API,下面的演示我们主要使用Postman,进行一系列的Demo演示,这款工具方便各位前端大大或者对接口调试的神器; 安装过于简单我不做过多介绍,推荐一些文章供大家参考安装: windows: windows单机版内含head插件 win
阅读全文
摘要:一、Logstash简介 Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。 二、Logstash处理流程 Logstash处理流程大致可分为3个阶段,Input >Filter >Output,用中
阅读全文