随笔分类 -  ES

ES系列目录
摘要：ES系列一、CentOS7安装ES 6.3.1 ES系列二、CentOS7安装ES head6.3.1 ES系列三、基本知识准备 ES系列四、ES6.3常用api之文档类api ES系列五、ES6.3常用api之搜索类api ES系列六、ES字段类型 ES系列七、ES-倒排索引基础知识 ES系列八、 阅读全文

posted @ 2018-09-23 23:43 小人物的奋斗 阅读(3066) 评论(0) 推荐(2) 编辑

ES系列十九、kibana基本查询、可视化、仪表盘用法
摘要：一. 定义索引模式匹配 1、前缀模糊匹配，一个模式匹配多个索引 每一个数据集导入到Elasticsearch后会有一个索引匹配模式，在上段内容莎士比亚数据集有一个索引名称为shakespeare，账户数据集的索引名称为bank。一个索引匹配模式就是一个字符串包含可选的通配符，它能匹配多个索引。比如， 阅读全文

posted @ 2018-09-23 20:40 小人物的奋斗 阅读(10106) 评论(0) 推荐(1) 编辑

ES系列十八、FileBeat发送日志到logstash、ES、多个output过滤配置
摘要：一、FileBeat基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的， 阅读全文

posted @ 2018-09-20 02:06 小人物的奋斗 阅读(44919) 评论(0) 推荐(2) 编辑

ES系列十七、logback+ELK日志搭建
摘要：一、ELK应用场景 在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式。因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理， 阅读全文

posted @ 2018-09-18 00:40 小人物的奋斗 阅读(10311) 评论(0) 推荐(0) 编辑

ES系列十六、集群配置和维护管理
摘要：一、修改配置文件 1.节点配置 1.vim elasticsearch.yml 其他节点文件除了节点名称不一样，其他都一样。 2.验证 1.启动三台机器ES和head 2.访问head地址查看 集群一共两个三个节点，test有5分片，每个分片两个副本，停掉节点二，集群副本0，2，4不见了 二、集群规 阅读全文

posted @ 2018-09-12 00:36 小人物的奋斗 阅读(2427) 评论(0) 推荐(0) 编辑

ES系列十五、ES常用Java Client API
摘要：一、简介 1.先看ES的架构图 二、ES支持的客户端连接方式 1.REST API http请求，例如，浏览器请求get方法；利用Postman等工具发起REST请求；java 发起httpClient请求等。 2.Transport 连接 socket连接，用官方提供的TransPort客户端，底 阅读全文

posted @ 2018-09-08 14:25 小人物的奋斗 阅读(46088) 评论(0) 推荐(3) 编辑

ES系列十四、ES聚合分析（聚合分析简介、指标聚合、桶聚合）
摘要：一、聚合分析简介 1. ES聚合分析是什么？ 聚合分析是数据库中重要的功能特性，完成对一个查询的数据集中数据的聚合计算，如：找出某字段（或计算表达式的结果）的最大值、最小值，计算和、平均值等。ES作为搜索引擎兼数据库，同样提供了强大的聚合分析能力。 对一个数据集求最大、最小、和、平均值等指标的聚合， 阅读全文

posted @ 2018-09-03 23:49 小人物的奋斗 阅读(19313) 评论(1) 推荐(4) 编辑

ES系列十三、Elasticsearch Suggester API(自动补全）
摘要：1.概念 1.补全api主要分为四类 整体效果类似百度搜索，如图： 2.Term Suggester(纠错补全） 2.1.api 1.建立索引 2.插入数据 3.看下储存的分词有哪些 结果： { "tokens": [ { "token": "lucene", "start_offset": 0, 阅读全文

posted @ 2018-09-02 18:05 小人物的奋斗 阅读(10518) 评论(0) 推荐(2) 编辑

ES系列十二、ES的scroll Api及分页实例
摘要：1.官方api 1.Scroll概念 Version：6.1 英文原文地址：Scroll 当一个搜索请求返回单页结果时，可以使用 scroll API 检索体积大量（甚至全部）结果，这和在传统数据库中使用游标的方式非常相似。 不要把 scroll 用于实时请求，它主要用于大数据量的场景。例如：将一个 阅读全文

posted @ 2018-09-01 11:48 小人物的奋斗 阅读(30088) 评论(0) 推荐(3) 编辑

ES系列十一、ES的index、store、_source、copy_to和all的区别
摘要：1.基本概念 1.1._source 存储的原始数据。_source中的内容就是搜索api返回的内容，如： 结果： 默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字段里的内容，我们在Elasticsearch中搜索文档，查看的文档内容就是_source中的 阅读全文

posted @ 2018-08-23 22:59 小人物的奋斗 阅读(14583) 评论(0) 推荐(1) 编辑

ES系列九、ES优化聚合查询之深度优先和广度优先
摘要：1.优化聚合查询示例 假设我们现在有一些关于电影的数据集，每条数据里面会有一个数组类型的字段存储表演该电影的所有演员的名字。 { "actors" : [ "Fred Jones", "Mary Jane", "Elizabeth Worthing" ] } 如果我们想要查询出演影片最多的十个演员以 阅读全文

posted @ 2018-08-20 23:27 小人物的奋斗 阅读(4205) 评论(0) 推荐(1) 编辑

ES系列八、正排索Doc Values和Field Data
摘要：1.Doc Values 聚合使用一个叫Doc Values的数据结构。Doc Values使聚合更快、更高效且内存友好。 Doc Values的存在是因为倒排索引只对某些操作是高效的。倒排索引的优势在于查找包含某个项的文档，而反过来确定哪些项在单个文档里并不高效。 结构类似如下： Doc Term 阅读全文

posted @ 2018-08-20 23:16 小人物的奋斗 阅读(4826) 评论(0) 推荐(0) 编辑

ES系列七、ES-倒排索引详解
摘要：1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 图3-1 单词-文档矩阵 从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其 阅读全文

posted @ 2018-08-20 22:21 小人物的奋斗 阅读(17039) 评论(0) 推荐(0) 编辑

ES系列六、ES字段类型及ES内置analyzer分析
摘要：一、背景知识 在Es中，字段的类型很关键： 在索引的时候，如果字段第一次出现，会自动识别某个类型，这种规则之前已经讲过了。 那么如果一个字段已经存在了，并且设置为某个类型。再来一条数据，字段的数据不与当前的类型相符，就会出现字段冲突的问题。如果发生了冲突，在2.x版本会自动拒绝。 如果自动映射无法满 阅读全文

posted @ 2018-08-19 18:58 小人物的奋斗 阅读(14757) 评论(0) 推荐(1) 编辑

ES系列五、ES6.3常用api之搜索类api
摘要：1.搜索api 1.1.routing:路由 执行搜索时，它将广播到所有索引/索引分片（副本之间的循环）。可以通过提供routing参数来控制将搜索哪些分片。例如，在索引book时，路由值可以是name。 POST book/english?routing=test { "name":"test", 阅读全文

posted @ 2018-08-15 12:43 小人物的奋斗 阅读(5893) 评论(0) 推荐(0) 编辑

ES系列四、ES6.3常用api之文档类api
摘要：1.Index API: 创建并建立索引 官方文档参考：Index API。 2.Get API: 获取文档 官方文档参考：Get API。 3.DELETE API: 删除文档 官方文档参考：Delete API。 4.UPDATE API: 更新文档 官方文档参考：Update API。 5.M 阅读全文

posted @ 2018-08-05 22:10 小人物的奋斗 阅读(5121) 评论(0) 推荐(0) 编辑

ES系列三、基本知识准备
摘要：一、基础概念 1、索引 索引（index）是elasticsearch的一个逻辑存储，可以理解为关系型数据库中的数据库，es可以把索引数据存放到一台服务器上，也可以sharding后存到多台服务器上，每个索引有一个或多个分片，每个分片可以有多个副本。 2、索引类型（index_type） 在es中， 阅读全文

posted @ 2018-08-01 23:18 小人物的奋斗 阅读(3298) 评论(0) 推荐(0) 编辑

ES系列二、CentOS7安装ES head6.3.1
摘要：1.Head插件简介 ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。 显示集群的拓扑,并且能够执行索引和节点级别操作 搜索接口能够查询集群中原始json或表格格式的检索数据 能够快速访问并显示集群的状态 有一个输入窗口,允 阅读全文

posted @ 2018-07-23 00:28 小人物的奋斗 阅读(5617) 评论(0) 推荐(0) 编辑

ES系列一、CentOS7安装ES 6.3.1、集成IK分词器
摘要：Elasticsearch 6.3.1 地址： 2.安装配置 1.拷贝 拷贝到服务器上，解压：tar -xvzf elasticsearch-6.3.1.tar.gz 。解压后路径：/home/elasticsearch-6.3.1 3.创建用户 创建用户，创建esdata目录，并赋予权限 4.配置 阅读全文

posted @ 2018-07-22 20:20 小人物的奋斗 阅读(10622) 评论(0) 推荐(0) 编辑

导航