随笔分类 - Elasticsearch
摘要：网络设置 Elasticsearch 缺省情况下是绑定 localhost。对于本地开发服务是足够的（如果你在相同机子上启动多个节点，它还可以形成一个集群），但是你需要配置基本的网络设置，为了能够在实际的多服务器生产集群中运行。WARNING：注意网络配置，永远不要暴露未受保护的节点到公网上 常用的
阅读全文
摘要：1. 集群健康状况处理 当集群处于yellow或者red状态的时候，整体处理步骤如下： （1） 首先查看集群状态 { "cluster_name": "elasticsearch", "status": "yellow", "timed_out": false, "number_of_nodes":
阅读全文
摘要：1. 获取子聚合结果总数 { "size": 0, "aggs": { "msisdnAgg": { "terms": { "field": "msisdn" }, "aggs": { "tagAggs": { ...
阅读全文
摘要：推荐阅读：1、阿里：https://elasticsearch.cn/article/61712、滴滴：http://t.cn/EUNLkNU3、腾讯：http://t.cn/E4y9ylL4、携程：https://elasticsearch.cn/article/62055、社区：https://
阅读全文
摘要：转自 ： https://blog.csdn.net/napoay/article/details/62233031 1. 概述 Elasticsearch中有几个关键属性容易混淆，很多人搞不清楚_source字段里存储的是什么？store属性的true或false和_source字段有什么关系？s
阅读全文
摘要：1. 工具安装 2. 工具使用 3. 注意事项 3.1 3.2 如果网络情况不好，或者没有网络还可以先备份到文件：
阅读全文
摘要：我们可以设置集群的平衡参数来暂时禁用掉平衡，具体步骤如下： 1.如果可能的话，先暂停掉数据新增和更新操作，这样会提高集群恢复的时间； 2.禁用集群分片平衡操作，直到告诉集群可以恢复平衡操作为止，禁用配置方式： 注意：put操作的时候，如果不是在集群节点上，需要加上完成的路径，如： 3.关掉需要维护的
阅读全文
摘要：基于 elasticsearch 1.4.4 版本.安装方式为RPM安装.所有涉及路径需根据实际情况来设置判断. 0x01 内存调整 调整ES内存分配有多种方式,建议调整 /etc/sysconfig/elasticsearch 中的设置(还可以直接修改bin下的启动脚本). 注:只需要修改 ES_
阅读全文
摘要：转自： https://mp.weixin.qq.com/s/wmSTyIGCVhItVNPHcH7nsA 一、整体架构 为什么采用ES作为搜索引擎呢？在做任何事情的时候，不要一上来就急着了解怎么做这件事情，而是去想想这件事情为什么值得去做。 这个是比较通用的数据的流程，一般会通过Kafka分离产生
阅读全文
摘要：ElasticSearch集群的高可用和自平衡方案会在节点挂掉（重启）后自动在别的结点上复制该结点的分片，这将导致了大量的IO和网络开销。如果离开的节点重新加入集群，elasticsearch为了对数据分片(shard)进行再平衡，会为重新加入的节点再次分配数据分片(Shard), 当一台es因为压
阅读全文
摘要：ES各种节点的分工 1. 客户端节点 当主节点和数据节点配置都设置为false的时候，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群
阅读全文
摘要：分片未分配的原因主要有： 1）INDEX_CREATED：由于创建索引的API导致未分配。2）CLUSTER_RECOVERED ：由于完全集群恢复导致未分配。3）INDEX_REOPENED ：由于打开open或关闭close一个索引导致未分配。4）DANGLING_INDEX_IMPORTED
阅读全文
摘要：概要 含义如下： 搜索速率：对于单个索引，它是每秒查找次数*分片数。对于多个索引，它是每个索引的搜索速率的总和。 搜索延迟：每个分片中的平均延迟。 索引速率：对于单个索引，它是每秒索引的数量*分片数量。对于多个索引，它是每个索引的索引速率的总和。 索引延迟：每个分片中的平均延迟。 第一个是“搜索率”
阅读全文
摘要：1. 实现查询去重、分页，例如：实现依据qid去重，createTime排序，命令行为： JAVA API 2. 取得某个索引中某个字段中的所有出现过的值 这种操作类似于使用SQL的SELECT UNIQUE语句。当需要获取某个字段上的所有可用值时，可以使用terms聚合查询完成：eg: selec
阅读全文
摘要：1. 分词的时机 对于ES来讲，可以对文档的内容进行分词(前提是设置了analyzed)，也可以对输入的搜索词进行分词。对输入的搜索词进行分词时需要看下使用的什么类型的query。不同的query可能会对词进行分词，也可能不分词。无论是文档分词还是搜索词分词，依赖于使用的是什么分词器。分词的结果和分
阅读全文
摘要：SearchRequestBuilder常用方法说明 (1) setIndices(String... indices)：上文中描述过，参数可为一个或多个字符串，表示要进行检索的index； (2) setTypes(String... types)：参数可为一个或多个字符串，表示要进行检索的typ
阅读全文
摘要：2. zip包安装 2.1 https://github.com/mobz/elasticsearch-head下载zip 解压 2.2 建立elasticsearch-2.3.1\plugins\head文件 2.3 将解压后的elasticsearch-head-master文件夹下的文件cop
阅读全文
摘要：2. 使用QueryBuilder 进行查询 使用QueryBuilder 2.1 termQuery("key", obj) 完全匹配 2.1 termsQuery("key", obj1, obj2..) 一次匹配多个值 2.3 matchQuery("key", Obj) 单个匹配, fiel
阅读全文
摘要：1. 召回率和精准度 比如你搜索一个java spark，总共有100个doc，能返回多少个doc作为结果，就是召回率，recall 精准度，比如你搜索一个java spark，能不能尽可能让包含java spark，或者是java和spark离的很近的doc，排在最前面，precision 直接用
阅读全文
摘要：1. 近似匹配 什么是近似匹配，两个句子 java is my favourite programming language, and I also think spark is a very good big data system.java spark are very related, bec
阅读全文
