outback123 - 博客园

2018年3月2日

摘要：最近在写爬虫时遇到一个问题，有些数据有隔一段时间后重新爬，我想让Mysql执行以下功能，当mysql有一条数据时，如果新数据更来就更新，如果没有，就插入，方法一、手工判断插入一条数据的时候，先判断是否存在这条记录，如果存在，我就更新这条记录，不存在就插入该条记录。原本这样的操作，我估计以前的自己阅读全文

posted @ 2018-03-02 12:08 outback123 阅读(5452) 评论(0) 推荐(0) 编辑

MySQL触发器

摘要： MySQL包含对触发器的支持。触发器是一种与表操作有关的数据库对象，当触发器所在表上出现指定事件时，将调用该对象，即表的操作事件触发表上的触发器的执行。一、创建触发器在MySQL中，创建触发器语法如下： CREATE TRIGGER trigger_na trigger_time trigger 阅读全文

posted @ 2018-03-02 11:51 outback123 阅读(184) 评论(0) 推荐(0) 编辑

2018年2月28日

13.multi_match实现dis_max+tie_breaker

摘要：主要知识点：基于multi_match语法实现dis_max+tie_breaker 1、best_fields+tie_breaker GET /forum/article/_search { "query": { "multi_match": { "query": "java solution", "type":"be... 阅读全文

posted @ 2018-02-28 19:29 outback123 阅读(449) 评论(0) 推荐(0) 编辑

12. tie_breaker的使用原因和使用方法

摘要：主要知识点： tie_breaker的使用原因和使用方法一、tie_breaker的使用原因 dis_max，只是取分数最高的那个query的分数而已，完全不考虑其他query的分数，这种一刀切的做法，可能导致在有其他query的影响下，score不准确的情况，这时为了使用结果更准确，最好还是要考虑到其他query的影响，二、tie_breaker... 阅读全文

posted @ 2018-02-28 19:03 outback123 阅读(2259) 评论(0) 推荐(2) 编辑

11.best fields策略（dis_max参数设置）

摘要：主要知识点常规multi-field搜索结果分析 dis_max参数设置一、为帖子数据增加content字段 POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"content" : "i like to write best elasticsearch article"} } ... 阅读全文

posted @ 2018-02-28 18:49 outback123 阅读(1313) 评论(1) 推荐(0) 编辑

10.多shard场景下relevence score可能不准确

摘要：主要知识点多shard场景下relevence score可能不准确的原因多shard场景下relevence score可能不准确解决方式一、多shard场景下relevance score不准确的原因如果你个index有多个shard的话，可能搜索结果的排序会不准确。主要原因是TF/IDF的算法，es在计算IDF值时，默认只会计算当前shard的ID... 阅读全文

posted @ 2018-02-28 17:37 outback123 阅读(213) 评论(0) 推荐(0) 编辑

9.boost权重控制

摘要：主要知识点：学会在should中使用boost进行权重控制假如现在有一个需求：要把should中某些字段优先显示， 1、不加boost权重控制 GET /forum/article/_search { "query": { "bool": { "must": [{"match": {"title": "blog"}}], "... 阅读全文

posted @ 2018-02-28 17:10 outback123 阅读(315) 评论(0) 推荐(0) 编辑

7.搜索时控制精准度

摘要：主要知识点： 1、全文检索的时候，进行多个值的检索，有两种做法，match query；should 2、控制搜索结果精准度：and operator，minimum_should_match 1、准备数据：为帖子数据增加标题字段 POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"tit... 阅读全文

posted @ 2018-02-28 16:24 outback123 阅读(265) 评论(0) 推荐(0) 编辑

6.range filter进行范围过虑

摘要：主要知识点掌握range filter的用法 range filter就是查找一个范围内的数据，相当于sql中的betwen语法，以下是几个示例： 1、为帖子数据增加浏览量的字段 POST /forum/article/_bulk { "update": { "_id": "1"} } { "doc" : {"view_cnt" : 30} } { "upd... 阅读全文

posted @ 2018-02-28 15:38 outback123 阅读(1196) 评论(0) 推荐(0) 编辑

5.terms搜索多个值以及多值搜索结果优化

摘要：主要知识点 terms搜索多个值，并和term的比较一、term和terms terms是在这个字段中搜索多个值，相当于sql中的in语法（select * from tbl where col in ("value1", "value2")） term: {"field": "value"} terms: {"field": ["value1", "value... 阅读全文

posted @ 2018-02-28 12:26 outback123 阅读(287) 评论(0) 推荐(0) 编辑

Outback

公告