随笔分类 - ElasticSeacrh
摘要：创建一个索引及文档我们接下来创建一个叫做 twitter 的索引（index），并插入一个文档（document)。我们知道在 RDMS 中，我们通常需要有专用的语句来生产相应的数据库，表格，让后才可以让我们输入相应的记录，但是针对 Elasticsearch 来说，这个是不必须的。我们在左边的窗口
阅读全文
摘要：1、幂等操作 幂等（idempotent、idempotence）是一个数学与计算机学概念，常见于抽象代数中。 在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用
阅读全文
摘要：在今天的文章里，我们来主要介绍一下 Elasticsearch 的 refresh 及 flush 两种操作的区别。如果我们从字面的意思上讲，好像都是刷新的意思。但是在 Elasticsearch 中，这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍 Lucene 功能的
阅读全文
摘要：1、Canal同步 1.1 canal官方已支持Mysql同步ES6.X 同步原理，参见之前: 干货 | Debezium实现Mysql到Elasticsearch高效实时同步。 canal 1.1.1版本之后, 增加客户端数据落地的适配及启动功能。canal adapter 的 Elastic S
阅读全文
摘要：在业务系统中，遇到过两个问题： 问题1：设置为keyword类型的字段，插入很长的大段内容后，报字符超出异常，无法插入。 问题2：检索超过ignore_above设定长度的字段后，无法返回结果。 思考：Elasticsearch单字段支持的最大字符数？ 本文是基于设置ignore_above之后引申
阅读全文
摘要：1、Elasticsearch6.3 特性概览 1.1、支持Sql 像操作Mysql一样使用Elasticsearch，缩减DSL的学习成本，更多人爱上ES的特性。 1POST /_xpack/sql?format=txt2{3 "query": "SELECT * FROM library WHE
阅读全文
摘要：0、ES6.X 一对多、多对多的数据该如何存储和实现呢？ 引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？ 在ES6.X该如何存储、如何进行高效检索、聚合操作呢？ 相信阅读本文，你就能得到答案！ 1、ES6.X 新类型Join 产生背景 Mysql中多表关联，我们可以通过left
阅读全文
摘要：logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。 回到问题本身：如果库表里没有相关字段，该如何处理呢？ 本文给出相关探讨和解决方案。 1、 binlog认知 1.1 啥是 binlog？ binlog是Mysql sever层维护的一种二进制日志
阅读全文
摘要：ElasticSearch 与 NoSQL 数据库差异本文探讨下ElasticSearch 与 NoSQL 数据库差异，主要以MongoDB作为NoSql代表。 MongoDB 是开源的面向文档的数据库管理系统。ElasticSearch是基于Apache Lucene 的RESTful 实时搜索和
阅读全文
摘要：关闭服务 在进行下面实验前，请先关闭所有ElasticSearch、kibana、filebeat进程 elasticsearch-修改elasticsearch.yml配置 按以上表格对应的实例新增conf目录下elasticsearch.yml配置参数 # 在所有实例上加上以下配置 # 开启本地
阅读全文
摘要：目录 ▪ 用途 ▪ 架构 ▪ 192.168.1.51 elasticsearch-data部署双实例 ▪ 192.168.1.52 elasticsearch-data部署双实例 ▪ 192.168.1.53 elasticsearch-data部署双实例 ▪ 测试 用途 前情提要： ▷ 在第一篇
阅读全文
摘要：目录 ▪ 用途 ▪ 架构 ▪ 步骤说明 ▪ elasticsearch-data部署 ▪ elasticsearch-ingest部署 ▪ elasticsearch-master部署 用途 在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、
阅读全文
摘要：目录 ▪ 用途 ▪ 实验架构 ▪ EFK软件安装 ▪ elasticsearch配置 ▪ filebeat配置 ▪ kibana配置 ▪ 启动服务 ▪ kibana界面配置 ▪ 测试 ▪ 后续文章 用途 ▷ 通过filebeat实时收集nginx访问日志、传输至elasticsearch集群 ▷ f
阅读全文
摘要：filter与query对比大解密 filter，仅仅只是按照搜索条件过滤出需要的数据而已，不计算任何相关度分数，对相关度没有任何影响query，会去计算每个document相对于搜索条件的相关度，并按照相关度进行排序 一般来说，如果你是在进行搜索，需要将最匹配搜索条件的数据先返回，那么用query
阅读全文
摘要：从best-fields换成most-fields策略best-fields策略，主要是说将某一个field匹配尽可能多的关键词的doc优先返回回来most-fields策略，主要是说尽可能返回更多field匹配到某个关键词的doc，优先返回回来 两者差异 （1）best_fields，是对多个fi
阅读全文
摘要：ElasticSearch版本特性release 5.X新特性 Lucene 6.X,性能提升，默认打分机制从TF-IDF改成BM25 支持ingest节点/Painless Scripting 、Completion suggested支持、原生Java REST客户端 Type标记成deprec
阅读全文
摘要：一. index 1. 命名规则 _index 命名必须小写，不能以下划线开头，不能包含逗号、 _type 命名可以是大写或者小写，但是不能以下划线或者句号开头，不应该包含逗号， 并且长度限制为256个字符、 _id 唯一确定的文档，要么提供自己的_id ，要么es会自动生成 2. 创建索引 如果你
阅读全文
摘要：1. 集群中的节点角色 Ingest Node 如何分配？ 如何避免脑裂问题？ 2. 分片及副本 3. 集群健康及监控 3.1 cat API 3.2 Cluster API 3.2.1 _cluster 3.2.2 _nodes 3.2.3 _remote 3.2.4 _tasks 3.3 X-P
阅读全文
摘要：1. ES的架构 2. 核心概念 1. Near Realtime（NRT） 2. Cluster 3. Node 4. Index 5. Type 6. Document 7. Shard 8. Replication 9. Segment 10. 和关系型数据库的对比 11. 倒排索引 12.
阅读全文
摘要：ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。它用 Java 编写的，它的内部使用 Lucene 做索引与搜索，目的是使全文检索变得简单，设计用于云计算中，能够达到实时搜索，稳定，可靠，使用简单方便（使用JSON进行数据索引，通过隐藏 Lucene 的复
阅读全文
