随笔分类 - Elasticsearch
摘要：1.什么是Logstash logstash是一个数据抽取工具,将数据从一个地方转移到另一个地方。如hadoop生态圈的sqoop等。下载地址:https://www.elastic.co/cn/downloads/logstash logstash之所以功能强大和流行,还与其丰富的过滤器插件是分不
阅读全文
摘要：基于聚合查询（二）求出每个颜色的销售数量、平均价格、最大价格、最小价格、价格总和 查询起来比较麻烦： GET /tvs/_search { "size": 0, "aggs": { "group_color": { "terms": { "field": "color" }, "aggs": { "
阅读全文
摘要：以电视为案例，熟悉各类聚合查询 PUT /tvs PUT /tvs/_mapping { "properties": { "price": { "type": "long" }, "color": { "type": "keyword" }, "brand": { "type": "keyword"
阅读全文
摘要：普通字段聚合 # 使用数据 PUT /book/_doc/2 { "name": "java编程思想", "desc": "我们通常只需一天来审核你的信息。如果我们发现你的帐户确实未违反我们的社群守则,你便可以再为次使用Facebook官网。", "price": 10.91, "timestamp
阅读全文
摘要：场景： 下载某一个索引中的一亿条数据 scoll搜索会在第一次搜索的时候，保存一个当时的视图快照，之后只会基于该旧的视图快照提供数据搜索，如果这个期间数据变更，是不会让用户看到的。 每次发送scroll请求，我们还需要指定一个scoll参数，指定一个时间窗口，每次搜索请求只要在这个时间窗口内能完成就
阅读全文
摘要：插入数据 DELETE /website PUT /website { "mappings": { "properties": { "title": { "type": "text" } } } } PUT /website/_doc/1 { "title": "first class" } PUT
阅读全文
摘要：定位错误语法 比如查询一个name/desc中包含google的数据，结果输入关键词有误，就会包错， "unknown query [mul_match] did you mean any of [multi_match, match]?" GET /book01/_search { "query"
阅读全文
摘要：默认查询 GET /my_index/_search 条件查询 GET /my_index/_search?q=text:国人 返回结果解析： { "took": 30, # 总耗时多少毫秒 "timed_out": false, # 是否超时 "_shards": { # 查询分片情况 "tota
阅读全文
摘要：一、内置分词器 分词步骤 1). character filter:在一段文本进行分词之前，先进行预处理，eg：最常见的过滤html标签(hello -> hello）, & -> and ( I & you -> I and you) 2). tokenizer:分词， eg:hello you
阅读全文
摘要：一.索引管理 直接put数据PUT index/_doc/1，ES会自动生成索引，并建立动态映射dynamic mapping 在生产上，需要自己手动建立索引和映射，为了更好地管理索引。就像数据库的建表语句一样 创建索引 PUT /index { "setting": {}, "mappings":
阅读全文
摘要：Mapping映射 自动或手动为index中的_doc建立一种数据结构和相关配置 动态映射：dynamic mapping，自动为我们建立index，以及对应的mapping，mapping中包含了每个field对应的数据类型，以及如何分词等设置。 PUT /web_site/_doc/1 { "p
阅读全文
摘要：bulk的基础概念 bulk是es提供的一种批量增删改的操作API。 bulk的语法 bulk对JSON串的有着严格的要求。每个JSON串不能换行，只能放在同一行，同时，相邻的JSON串之间必须要有换行（Linux下是\n；Window下是\r\n）。bulk的每个操作必须要一对JSON串（dele
阅读全文
摘要：并发问题 比如秒杀 为控制并发问题，通常采用锁机制，分为悲观锁和乐观锁 悲观锁：很悲观，所有情况都上锁。此时只有一个线程可以操作数据。具体例子为数据库中的行级锁、表级锁、读锁、写锁等。 特点：优点是方便，直接加锁，对程序透明。缺点是效率低。 乐观锁：很乐观，对数据本身不加锁。提交数据时，通过一种机制
阅读全文
摘要：浏览器：127.0.0.1:5601 找到Dev Tools 1.集群运行状况检查 GET /_cat/health?v 2.获取集群中的节点列表 GET /_cat/nodes?v 3.列出所有索引 GET /_cat/indices?v index索引操作 1.1 新建 Index,可以直接向
阅读全文
摘要：Elastic Stack 组件介绍 Elasticsearch Elasticsearch是使用java开发，基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负
阅读全文
