随笔分类 - elasticsearch
摘要:es-collapse 字段折叠去重查询 前提 我们知道,在mysql有distinct去重查询,那么在es中如何针对字段去重呢? 最近在使用es查询时,有这样的需求,详情如下: 1. 返回数据按照id降序排序,针对用户ID(user_id)对数据进行去重 2. 同一个用户ID如果存在多条记录,保留
阅读全文
摘要:es常用查询语句以及操作命令 下面整理记录下常用的es操作语句,方便查阅 1. 更新数据 例1:增加字段值 1 POST example/_update_by_query 2 { 3 "query": { 4 "bool": { 5 "must": [], 6 "filter": [ 7 { 8 "
阅读全文
摘要:es的mapping参数-fields 概要 在es中,一个字段可能运用于不同的场景,但是某个字段类型的使用场景是有局限的 下面,我们先来看一段es查询语句: 1 $must = [ 2 "bool" => [ 3 "should" => [ 4 [ 5 "range" => [ 6 "user_i
阅读全文
摘要:es查询-统计总数以及深度分页 一、查询总数 1. ES 查询 hits 统计总数不准? 当我们使用 ES 的时候,有时会比较关心匹配到的文档总数是多少,所以在查询得到结果后会使用 hits.total.value 这个值作为匹配的总数,如下 图一 说明:这是因为,es官方默认限制索引查询最多只能查
阅读全文
摘要:es的常用字段类型和查询 概要 在ES中,字段的类型很关键,毕竟无论是es还是传统的数据库,都无法弱化字段的类型。 在索引的时候,如果字段第一次出现,会自动识别某个类型。 那么如果一个字段已经存在了,并且设置为某个类型。再来一条数据,字段的数据不与当前的类型相符,就会出现字段冲突的问题。如果发生了冲
阅读全文
摘要:ELK-logstash导入数据以及配合kibana使用 1、数据集下载 MovieLens数据集包含多个用户对多部电影的评级数据,也包括电影元数据信息和用户属性信息。本文所用的数据为1M的数据,对应的版本是ml-latest-small.zip。点击此处下载 这个数据集经常用来做推荐系统,机器学习
阅读全文
摘要:Elasticsearch的基础知识 概要 Elasticsearch(下面简称ES)是一个基于Lucene(一个开源全文搜索引擎)构建的开源、分布式可扩展的实时搜索和分析引擎。作为目前最流行的开源搜索引擎,Elasticsearch 在同领域几乎没有竞争对手。维基百科、Stack Overflow
阅读全文
摘要:Elasticsearch中文分词 1、ELasticsearch自带的分词器 Elasticsearch内置了很多分词器(analyzers),例如standard(标准分词器)、english(英文分词)和chinese(中文分词)。其中standard就是无脑的一个一个词(汉字)切分,所以适用
阅读全文
摘要:Windows下elasticsearch+logstash+kibana的安装启动 最近elasticsearch简称es好像很火的亚子,或者说火了好一段时间了,我孤陋寡闻啦?看完《终于有人把Elasticsearch原理讲透了》一文,图文并茂,浅显易懂。大概有所了解。现在咱们来动手尝试一下,使用
阅读全文
摘要:windows下Elasticsearch-head插件的安装 在学习Elasticsearch的过程中,必不可少需要通过一些工具查看es的运行状态以及数据。如果都是通过rest请求,未免太过麻烦,而且也不够人性化。此时,head可以完美的帮助我们快速学习Elasticsearch。 es5以上版本
阅读全文