随笔分类 - 中间件 / ElasticSearch
摘要：X-Pack是ES扩展功能，提供安全性，警报，监视，报告，机器学习和许多其他功能。 ES7.0+之后，默认情况下，当安装Elasticsearch时，会安装X-Pack，无需单独再安装。具体查看官方文档相关配置项也在官方文档中, ES版本是8.2.3,环境windows server2012 R2
阅读全文
摘要：1、机器学习相关 org.elasticsearch.ElasticsearchException: Failure running machine learning native code. This could be due to running on an unsupported OS or
阅读全文
摘要：1、查看所有索引基本信息 GET _cat/indices?v 2、查看索引的mapping GET test/_mapping 此处查看test的mapping
阅读全文
摘要：1、关于对象类型的操作和查询 创建索引,插入数据 PUT /blog { "mappings": { "properties": { "Content":{ "type": "text" }, "CreateTime":{ "type": "date", "format": "yyyy-MM-dd
阅读全文
摘要：1、create 新增记录 1.1 新增记录不指定id,让es自动生成 POST logs/_doc { "Level":"Warn", "Content":"111" } 结果如下: { "_index" : "logs", "_id" : "Hd5vpoIBC5fFiL3XSTWi", "_ve
阅读全文
摘要：Scripting是ES提供的一种支持自定义编程的用于复杂查询的脚本语言.主要用于复杂的计算,其类型主要有Painless、expressions等等,下面开始分析,运行数据在ES 聚合查询中,自行查找. 1、Reindex 数据备份 reindex 常用于数据备份,类似关系型数据库中的select
阅读全文
摘要：关于常用聚合函数,ES提供了很多,具体查看官方文档,本文在ES 聚合查询的基础上,相关测试数据也在ES 聚合查询中. 1、range聚合 1.1 统计各个价格范围的食品销售情况,代码如下: GET food/_search?size=0 { "aggs": { "price_range": { "r
阅读全文
摘要：本文基于ES 聚合查询基础编写,测试数据的构建在ES 聚合查询中查找. 1、_key排序 按每个桶的键值数值排序 GET food/_search { "size": 0, "aggs": { "tags_agg": { "terms": { "field": "Tags.keyword", "si
阅读全文
摘要：在了解本文内容前,必须先了解ES DSL查询和ES 聚合查询,ES基于查询结果的聚合分为两种,第一种类似与关系型数据库中的Having语法,第二种类似于关系型数据库中先where在group by的语法,本文主要分析先查询后聚合场景 演示数据从ES 聚合查询获取 1、先查询后聚合 现在需要统计价格在
阅读全文
摘要：ES聚合查询主要又三种模式,分别是分桶聚合(Bucket aggregations)、指标聚合(Metrics aggregations)、管道聚合(Pipeline aggregations),三种模式处理的业务场景不同,下面开始简要分析下. 1、分桶聚合(Bucket aggregations)
阅读全文
摘要：1、规范化 Normalization 规范化,主要实在ES对文本类型进行分词后,按照各自分词器的规范标准,对分词进行二次处理的过程.如was=>is(时态转换),brother‘s=>brother(复数变单数),Watch=>watch(大小写转换)等等,且还可能去掉量词a、an,is等和搜索无
阅读全文
摘要：1、字符过滤器 官方文档 其作用主要是在调用分词器进行分词之前，进行一些无用字符的过滤,字符过滤器主要分为以下三种 (1)、Html strip 官方文档 过滤html标签，主要参数escaped_tags保留哪些html标签,示例代码如下: PUT test_index { "settings":
阅读全文
摘要：因为ik目前最高支持es 8.2.3,所以本文基于8.2.3的环境编写. 1、集群环境构建 参考Es 集群搭建及相关配置和相关参数解读,分别下载Es和kibana 8.2.3版本,部署到相应的服务器,删除es原有的data目录.配置elasticsearch.yml,节点配置如下: 节点配置 clu
阅读全文
摘要：1、Query String Search 参考前面的文章 2、全文检索 运行数据构建,代码如下: PUT /logs/_doc/1 { "Name":"apple phone", "Desc":"phone made in china 2022-08-01", "Date":"2022-08-01
阅读全文
摘要：1、构造运行环境 打开kibana进入Dev tools,创建索引,并插入测试数据,代码如下: PUT /logs/_doc/1 { "Name":"燕麦", "Desc":"燕麦商品描述", "Price":111, "Tags":["Breakfast","Carbon","Cheap"] }
阅读全文
摘要：本文来自http://t.zoukankan.com/Leo_wl-p-10563793.html 一、遇到的问题 与大多数分布式系统一样，Elasticsearch按照一定的Hash规则把用户数据切分成多个分片，然后打散到不同机器进行存储，从而实现大规模数据的分布式存储。 cluster.png
阅读全文
摘要：1、ES常用数据类型 1.1 Numbers 数字类型 涉及到的类型很多,具体查阅文档 常用的有long，integer，short，double，float 1.2 Keywords 关键字类型 关键字分为以下几种: (1)、keyword 用于索引结构化内容，如ID、电子邮件地址、主机名、状态码
阅读全文
摘要：本文基于ES8.x的内容编写 1、索引 Index ES中的索引和关系型数据库中的表,不同的是ES中的索引时基于Json格式的. 1.1、通过Elasticsearch-head创建索引 1.2、通过kibana来操作索引 首先进入kibana Dev Tools界面 1.2.1、创建索引,输入如下
阅读全文
摘要：1、数据库索引之B Tree 百度百科 对于一棵m阶B-tree，每个结点至多可以拥有m个子结点。各结点的关键字和可以拥有的子结点数都有限制，规定m阶B-tree中，根结点至少有2个子结点，除非根结点为叶子节点, 关系型数据库如mysql中数据页有大小限制,在阶数(父节点的横向子节点树数)一定的情况
阅读全文
摘要：参考文档: https://www.elastic.co/guide/en/elasticsearch/reference/8.3/index.html https://www.elastic.co/guide/en/elasticsearch/reference/8.3/important-set
阅读全文
