outback123 - 博客园

2018年2月28日

摘要：主要知识：学习bool组合查询 bool嵌套 1、搜索发帖日期为2017-01-01，或者帖子ID为XHDK-A-1293-#fJ3的帖子，同时要求帖子的发帖日期绝对不为2017-01-02 sql语句：select * from forum.article where (post_date='2017-01-01' or article_id='XHDK-A-1293-... 阅读全文

posted @ 2018-02-28 11:48 outback123 阅读(203) 评论(0) 推荐(0) 编辑

3.filter原理（bitset机制与caching机制）

摘要：主要知识点：一次filter执行顺序 filter和query的特点一、一次filter执行顺序 1、在倒排索引中查找搜索串，获取document list 以一下date数据来举例 worddoc1doc2doc3 2017-01-01... 阅读全文

posted @ 2018-02-28 10:50 outback123 阅读(227) 评论(0) 推荐(0) 编辑

2.使用term filter搜索数据

摘要：主要知识点根据用户ID、是否隐藏、帖子ID、发帖日期来搜索帖子一、准备数据 1、插入一些测试帖子数据 POST /forum/article/_bulk { "index": { "_id": 1 }} { "articleID" : "XHDK-A-1293-#fJ3", "userID" : 1, "hidden": false, "postDate": "2017... 阅读全文

posted @ 2018-02-28 09:59 outback123 阅读(408) 评论(0) 推荐(0) 编辑

2018年2月27日

1.scrapy爬取的数据保存到es中

摘要：先建立es的mapping，也就是建立在es中建立一个空的Index，代码如下：执行后就会在es建lagou 这个index。 from datetime import datetime from elasticsearch_dsl import DocType, Date, Nested, Boolean, \ analyzer, InnerD... 阅读全文

posted @ 2018-02-27 17:48 outback123 阅读(2073) 评论(0) 推荐(0) 编辑

69.优化写入流程

摘要：主要知识点优化写入流程实现近实时优化写入流程实现持久化和数据恢复优化写入流程实现海量磁盘文件合并一、优化写入流程实现近实时在第68节中写到了es写入document所要经历的步骤，这个流程有一个问题，那就是每次都必须等待fsync将segment刷入磁盘，才能将segment打开供search使用，这样的话，从一个document写入es直到它可以... 阅读全文

posted @ 2018-02-27 10:45 outback123 阅读(321) 评论(0) 推荐(0) 编辑

68.document增删改原理

摘要：主要知识点 document增的原理 document删的原理 document改的原理一、document增的原理一个document存入es大致要分以下几个步骤（1）数据写入buffer，（2）写入buffer的数据在达到一定条件（时间等）进行commit point（提交点）（3）b 阅读全文

posted @ 2018-02-27 09:16 outback123 阅读(194) 评论(0) 推荐(0) 编辑

67.倒排索引结构理解

摘要：倒排索引，是适合用于进行搜索的，倒排索引的结构是比较复杂的，总体来说包括以下几个部分（1）包含这个关键词的document list （2）包含这个关键词的所有document的数量：IDF（inverse document frequency）（3）这个关键词在每个document中出现的次数：TF（term frequency）（4）这个关键词在这个document中的次序... 阅读全文

posted @ 2018-02-27 08:03 outback123 阅读(437) 评论(0) 推荐(0) 编辑

66.零停机下reindex

摘要：主要知识点：理解reindex的使用场景和必要性学会reindex 一、理解reindex的使用场景和必要性假设：在某一个index中依靠dynamic mapping插入数据，但是不小心有些数据是2017-01-01这种日期格式的，所以title这个field被插入2017-01-01这条数据之后就被es自动映射为了date类型，实际上它应该是strin... 阅读全文

posted @ 2018-02-27 07:47 outback123 阅读(725) 评论(0) 推荐(0) 编辑

65.dynamic mapping

摘要：主要知识点：理解dynamic mapping 定制dynamic mapping 更改default dynamic mapping 一、理解dynamic mapping 1、基本概念 One of the most important features of Elasticsearch is that it tries to get out of your... 阅读全文

posted @ 2018-02-27 06:51 outback123 阅读(204) 评论(0) 推荐(0) 编辑

2018年2月26日

64.root object的理解

摘要：一、root object的理解就是某个type对应的mapping json，包括properties,metadata（_id，_source，_type），settings（analyzer），其他settings（比如include_in_all等，下例中加黄色的就是root object） PUT /my_index { "mappings": { "... 阅读全文

posted @ 2018-02-26 20:52 outback123 阅读(136) 评论(0) 推荐(0) 编辑

Outback

公告