上一页 1 ··· 39 40 41 42 43 44 45 46 47 ··· 53 下一页
摘要: top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器,以便可以按存储分区汇总最匹配的文档。 top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。 选项: from 要获取的第一个结果的偏移量。 si 阅读全文
posted @ 2019-12-24 17:07 哈喽哈喽111111 阅读(7222) 评论(0) 推荐(1) 编辑
摘要: 本教程向您展示如何将数据从Elasticsearch导出到CSV文件。 想象一下,您想要在Excel中打开一些Elasticsearch中的数据,并根据这些数据创建数据透视表。 这只是一个用例,其中将数据从Elasticsearch导出到CSV文件将很有用。 方法一 其实这种方法最简单了。我们可以直 阅读全文
posted @ 2019-12-24 16:55 哈喽哈喽111111 阅读(9057) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,大多数字段都已编入索引,这使它们可搜索。 但是,脚本中的排序,聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语?”这个问题,而排序和汇总则需要回答一个不同的问题:“此字段对该文档的值是什么?”。 大多数字段可以将索引时生产的磁盘doc_values(https 阅读全文
posted @ 2019-12-24 16:41 哈喽哈喽111111 阅读(13776) 评论(1) 推荐(2) 编辑
摘要: HanLP 中文分词器是一个开源的分词器,是专为Elasticsearch而设计的。它是基于HanLP,并提供了HanLP中大部分的分词方式。它的源码位于: https://github.com/KennFalcon/elasticsearch analysis hanl 从Elasticsearc 阅读全文
posted @ 2019-12-24 16:33 哈喽哈喽111111 阅读(2706) 评论(0) 推荐(0) 编辑
摘要: 我们可以通过在命令行中对我们的Beats进行管理,比如我们可以启动metric几个模块,我们可以通过如下的命令来执行: 上面的命令启动apache mysql模块。我们也许觉得这个这样做很方便。但是如果我相对许多的机器(比如几千部机器)来做这样的管理,可能也很麻烦,这是因为我们需要到每一台机器上重复 阅读全文
posted @ 2019-12-24 15:43 哈喽哈喽111111 阅读(1001) 评论(0) 推荐(0) 编辑
摘要: 简单的事情应该简单(Simple things should be simple),这是Elastic {ON} ‘17的主题之一,Elastics收到了许多关于使用简单易用的UI创建警报的请求。事实证明,创建单个UI以对所有类型的警报均有效地工作非常困难。例如,可以在平均CPU使用率超过50%时创 阅读全文
posted @ 2019-12-24 15:20 哈喽哈喽111111 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 在Elasticsearch中,我们可以使用_search终端进行搜索。这个在我之前的文章 “开始使用Elasticsearch (2)” 中有很多的描述。针对这种搜索,我们可以使用强大的DSL进行搜索。在Elasticsearch中,还有一类是基于URI的搜索。对于这种它可以很方便地直接在浏览器中 阅读全文
posted @ 2019-12-24 14:56 哈喽哈喽111111 阅读(652) 评论(0) 推荐(0) 编辑
摘要: 建立搜索体验是一项艰苦的工作。 乍一看似乎很容易:建立一个搜索栏,将数据放入数据库,然后让用户输入对该数据库的查询。 但是,在数据建模,底层逻辑以及(当然)总体设计和用户体验方面,有很多事情要考虑。 我们将逐步介绍如何使用Elastic的开源Search UI库构建出色的基于React的搜索体验。 阅读全文
posted @ 2019-12-24 14:44 哈喽哈喽111111 阅读(787) 评论(0) 推荐(0) 编辑
摘要: Beats作为Elastic Stack家族中重要的部分。它可以和方便地让我们把我们的数据发送到Elasticsearch或Logstash之中。如果我们想要生成自己的Beat,请使用GitHub的beats仓库中提供的Beat生成器。在今天的文章中,我们将详细介绍如何一步一步地来创建一个我们自己想 阅读全文
posted @ 2019-12-24 13:57 哈喽哈喽111111 阅读(1346) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch提供了replica解决方案,它可以帮我们解决了如果有一个或多个node失败了,那么我们的数据还是可以保证完整的情况,并且搜索还可以继续进行。但是,有一种情况是我们的所有的node,或者有一部分node失败,可能会造成我们的数据的丢失。也就是说replca不能提供一种灾难性 阅读全文
posted @ 2019-12-24 12:08 哈喽哈喽111111 阅读(2082) 评论(0) 推荐(0) 编辑
摘要: 聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一,主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中,我们将解释Elasticsearch中的聚合(aggregation)并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合 阅读全文
posted @ 2019-12-24 11:42 哈喽哈喽111111 阅读(811) 评论(0) 推荐(0) 编辑
摘要: 在今天的文章里,我们将介绍Elastic的一个重要的应用:应用程序性能管理(Application Performance Monitoring/Management),简称APM。那么到底什么是APM呢? 随着时代的发展,我们的IT架构越来越复杂,比如: 我们系统的服务器越来越多,而且更多的设备都 阅读全文
posted @ 2019-12-24 11:06 哈喽哈喽111111 阅读(8414) 评论(0) 推荐(1) 编辑
摘要: Elastic Stack的组件是不安全的,因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时,这会带来安全风险。 为了防止生产中未经授权的访问,采用了不同的机制来施加安全性,例如在防火墙后运行Elastic Stack并通过反向代理(例如ngi 阅读全文
posted @ 2019-12-24 10:47 哈喽哈喽111111 阅读(3525) 评论(0) 推荐(1) 编辑
摘要: 在本文中,我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语,这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用: 为用户查询标识包含同义词,首字母缩略词等的相关文档。例如,当用户搜索H1N1 阅读全文
posted @ 2019-12-24 10:30 哈喽哈喽111111 阅读(1891) 评论(0) 推荐(0) 编辑
摘要: Elastic Stack是一套完整的从数据采集,解析,分析,丰富,到搜索,检索,数据程序等一套完整的软件栈。在具体的实践中,我们应该如何搭建我们的系统呢? 下图描述了常用的Elastic Stack的部署架构: 该图描述了三种可能的体系结构: 将操作指标直接发送到Elasticsearch:如上图 阅读全文
posted @ 2019-12-24 10:16 哈喽哈喽111111 阅读(1747) 评论(0) 推荐(0) 编辑
摘要: Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中,用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫(Markov)模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入 阅读全文
posted @ 2019-12-24 10:09 哈喽哈喽111111 阅读(1743) 评论(0) 推荐(0) 编辑
摘要: ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上,ICU的目的是增加对Unicode和全球化的支持,以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看,此插件提供了文本分析中的新组件,如下表所示: 安装 我们可以首 阅读全文
posted @ 2019-12-24 09:58 哈喽哈喽111111 阅读(3824) 评论(2) 推荐(0) 编辑
摘要: 在7.0版发布之前,hits.total始终用于表示符合查询条件的文档的实际数量。在Elasticsearch 7.0版中,如果匹配数大于10,000,则不会计算hits.total。 这是为了避免为给定查询计算精确匹配文档的不必要开销。 我们可以通过将track_total_hits = true 阅读全文
posted @ 2019-12-24 09:45 哈喽哈喽111111 阅读(2362) 评论(0) 推荐(0) 编辑
摘要: 在实际的搜索中,我们有时候会打错字,从而导致搜索不到。在Elasticsearch中,我们可以使用fuzziness属性来进行模糊查询,从而达到搜索有错别字的情形。 match查询具有“fuziness”属性。它可以被设置为“0”, “1”, “2”或“auto”。“auto”是推荐的选项,它会根据 阅读全文
posted @ 2019-12-23 18:10 哈喽哈喽111111 阅读(6225) 评论(0) 推荐(0) 编辑
摘要: 在上一篇文章 “Elasticsearch:运用scroll接口对大量数据实现更好的分页”,我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中,我们讲述了两种方法: from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言,我们尽量避免使用f 阅读全文
posted @ 2019-12-23 18:09 哈喽哈喽111111 阅读(13557) 评论(0) 推荐(0) 编辑
摘要: 在Elasticsearch中,我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引,这是有效的吗?Scroll API可用于从单个搜索请求中检索大量结果(甚至所有结果),这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求,而是用于处理大量 阅读全文
posted @ 2019-12-23 18:05 哈喽哈喽111111 阅读(2827) 评论(0) 推荐(0) 编辑
摘要: 我们发现一些用户经常编写了一些非常冗长和复杂的查询 在很多情况下,相同的查询会一遍又一遍地执行,但是会有一些不同的值作为参数来查询。在这种情况下,我们觉得使用一个search template(搜索模板)来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。 Search temp 阅读全文
posted @ 2019-12-23 17:57 哈喽哈喽111111 阅读(3090) 评论(0) 推荐(0) 编辑
摘要: Index template定义在创建新index时可以自动应用的settings和mappings。 Elasticsearch根据与index名称匹配的index模式将模板应用于新索引。这个对于我们想创建的一系列的Index具有同样的settings及mappings。比如我们希望每一天/月的日 阅读全文
posted @ 2019-12-23 17:52 哈喽哈喽111111 阅读(3612) 评论(0) 推荐(1) 编辑
摘要: 在今天的这个教程中,我们来着重讲解一下如何使用Elasticsearch中的copy来提高搜索的效率。比如在我们的搜索中,经常我们会遇到如下的文档: 在这里,我们可以看到在这个文档中,我们有这样的几个字段: 它们是非常相关的。我们在想是不是可以把它们综合成一个字段,这样可以方便我们的搜索。假如我们要 阅读全文
posted @ 2019-12-23 17:44 哈喽哈喽111111 阅读(4272) 评论(0) 推荐(4) 编辑
摘要: 在处理大量数据时,关系数据库存在很多问题。 无论是速度,高效处理,有效并行化,可扩展性还是成本,当数据量开始增长时,关系数据库都会失败。该关系数据库的另一个挑战是必须预先定义关系和模式。Elasticsearch也是一个NoSQL文档数据存储。 但是,尽管是一个NoSQL数据存储,Elasticse 阅读全文
posted @ 2019-12-23 17:37 哈喽哈喽111111 阅读(3069) 评论(0) 推荐(0) 编辑
摘要: 在我们开发的过程中,我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后,需要重新把数据从现有的index转到新的index建立新的索引,这是因为我们不能修改现有的index的m 阅读全文
posted @ 2019-12-23 17:01 哈喽哈喽111111 阅读(9661) 评论(1) 推荐(1) 编辑
摘要: Ngrams和edge ngrams是在Elasticsearch中标记文本的两种更独特的方式。 Ngrams是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram和edge ngram过滤器都允许您指定min_gram以及max_gram设置。 这些设置控制单词被分割成的标记的大小 阅读全文
posted @ 2019-12-23 16:56 哈喽哈喽111111 阅读(1216) 评论(0) 推荐(0) 编辑
摘要: Elasticsearch内置的分词器对中文不友好,只会一个字一个字的分,无法形成词语,比如: 如果我们使用的是standard的分词器,那么结果就是: 显然这对中文来说并不友好,它显示的每一个汉字。好在Elastic的大拿medcl已经为我们做好IK中文分词器。下面我们来详细介绍如何安装并使用中文 阅读全文
posted @ 2019-12-23 16:51 哈喽哈喽111111 阅读(480) 评论(0) 推荐(0) 编辑
摘要: 在今天的文章中,我们来进一步了解analyzer。 analyzer执行将输入字符流分解为token的过程,它一般发生在两个场合: 在indexing的时候,也即在建立索引的时候 在searching的时候,也即在搜索时,分析需要搜索的词语 什么是analysis? 分析是Elasticsearch 阅读全文
posted @ 2019-12-23 16:47 哈喽哈喽111111 阅读(5031) 评论(0) 推荐(1) 编辑
摘要: 现在让我们来谈谈Elasticsearch最简单和最有用的功能之一:别名 (alias)。为了区分这里alias和文章“Elasticsearch : alias数据类型”,这里的别名(alias)指的是index的别名。 别名正是他们听起来的样子; 它们是您可以使用的指针或名称,对应于一个或多个具 阅读全文
posted @ 2019-12-23 16:37 哈喽哈喽111111 阅读(2987) 评论(0) 推荐(0) 编辑
摘要: 就像其他的很多语言一样,我们可以给已有的变量取一个别名(alias)。即便是对高级语言一样,比如我们定义不同的指针变量,指向同一个内存空间。这个有些类似别名的概念。 在Elasticsearch中,我们也可以为index中的一个字段(field)取一个另外的名字: 它可以用来代替搜索请求中的目标(t 阅读全文
posted @ 2019-12-23 16:26 哈喽哈喽111111 阅读(1156) 评论(0) 推荐(0) 编辑
摘要: 在Elasticsearch中,Join可以让我们创建parent/child关系。Elasticsearch不是一个RDMS。通常join数据类型尽量不要使用,除非不得已。那么Elasticsearch为什么需要Join数据类型呢? 在Elasticsearch中,更新一个object需要root 阅读全文
posted @ 2019-12-23 16:20 哈喽哈喽111111 阅读(8487) 评论(1) 推荐(0) 编辑
摘要: 在今天的文章中,我们来介绍如何使用Java来访问Elasticsearch。 首先,我们必须在我们的系统中安装Elasticsearch。 Maven 配置 针对Java的开发,我们必须在pom.xml中配置相应的Elasticsearch的信息。Mavev dependency定义如下: 这也是目 阅读全文
posted @ 2019-12-23 16:08 哈喽哈喽111111 阅读(1769) 评论(0) 推荐(0) 编辑
摘要: 以后会用到的相关知识:索引中某些字段禁止搜索,排序等操作 当我们学习Elasticsearch时,经常会遇到如下的几个概念: Reverted index doc_values source? 这个几个概念分别指的是什么?有什么用处?如何配置它们?只有我们熟练地掌握了这些概念,我们才可以正确地使用它 阅读全文
posted @ 2019-12-23 15:44 哈喽哈喽111111 阅读(798) 评论(1) 推荐(0) 编辑
摘要: rollover使您可以根据索引大小,文档数或使用期限自动过渡到新索引。 当rollover触发后,将创建新索引,写别名(write alias)将更新为指向新索引,所有后续更新都将写入新索引。 对于基于时间的rollover来说,基于大小,文档数或使用期限过渡至新索引是比较适合的。 在任意时间ro 阅读全文
posted @ 2019-12-23 15:30 哈喽哈喽111111 阅读(7136) 评论(2) 推荐(0) 编辑
摘要: 在我们的实际部署中,我们的各个node(节点)的能力是不一样的。比如有的节点的计算能力比较强,而且配有高性能的存储,速度也比较快,同时我们可能有一些node的能力稍微差一点,比如计算能力及存储器的速度都比较差一点。针对这两种情况,我们其实可以把这两种节点用来做不同的用途:运算能力较强的节点可以用来做 阅读全文
posted @ 2019-12-23 15:18 哈喽哈喽111111 阅读(840) 评论(1) 推荐(0) 编辑
摘要: 如果您要处理时间序列数据,则不想将所有内容连续转储到单个索引中。 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量。 要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引的老 阅读全文
posted @ 2019-12-23 14:50 哈喽哈喽111111 阅读(6012) 评论(1) 推荐(1) 编辑
摘要: Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中,我们使用拼音就可以出现汉字: 对于我们中国人来说,拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢?答案是我们采用Medcl所创建的 阅读全文
posted @ 2019-12-23 14:31 哈喽哈喽111111 阅读(2941) 评论(0) 推荐(0) 编辑
摘要: 我们之前看见了在Elasticsearch里的ingest node里,我们可以通过以下processor的处理帮我们处理我们的一些数据。它们的功能是非常具体而明确的。那么在Elasticsearch里,有没有一种更加灵活的方式可供我们来进行编程处理呢?如果有,它使用的语言是什么呢? 在Elasti 阅读全文
posted @ 2019-12-23 14:30 哈喽哈喽111111 阅读(15665) 评论(0) 推荐(1) 编辑
摘要: Elasticsearch最重要的功能之一是它试图摆脱你的方式,让你尽快开始探索你的数据。 要索引文档,您不必首先创建索引,定义映射类型和定义字段 您只需索引文档,那么index,type和field将自动生效。比如: PUT data/_doc/1 { "count": 5 } 上面的命令将自动帮 阅读全文
posted @ 2019-12-23 14:30 哈喽哈喽111111 阅读(787) 评论(0) 推荐(0) 编辑
上一页 1 ··· 39 40 41 42 43 44 45 46 47 ··· 53 下一页