摘要: 本文讲解 ES 离线索引构建涉及一些核心功能实现原理,适用于10亿数据量,2-3小时内完成 ES 索引构建。 谈到索引构建,其实更熟悉的一个场景是: 一个线上服务,接收请求做了某些逻辑处理,然后想要将数据保存到 ES 用于后续的查询,这个过程是一般是基于 ES restful api 向 ES 集群 阅读全文
posted @ 2024-01-29 23:36 大熊猫同学 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 欢迎读者在评论区共享读过的 ES(ElasticSearch)工程实践的文章 性能优化 美团外卖搜索基于Elasticsearch的优化实践 美团外卖LBS场景下,采用 LongObjectHashMap hash 查询方式优化了倒排链的查询、采用 RLE 编码将 posting list 极致压缩 阅读全文
posted @ 2024-01-17 22:27 大熊猫同学 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 本文是:https://www.elastic.co/cn/blog/frame-of-reference-and-roaring-bitmaps 文章的翻译及理解。 lucene 在存储 doc 时,会为每个 doc 分配一个 doc_id。doc_id 是 segment 维度(index->s 阅读全文
posted @ 2023-11-27 19:53 大熊猫同学 阅读(72) 评论(4) 推荐(0) 编辑
摘要: 如果将 Elasticsearch(ES)作为线上C端服务的查询引擎,那么 search query 的响应时间则至关重要。因为毕竟面向C端用户,如果一个搜索请求 1 秒内(端到端)还未返回,那么用户将不可接受。 因此,C端服务对ES的性能稳定性做了许多工程上的优化,比如: 强制将分片的段文件设置为 阅读全文
posted @ 2023-09-04 20:57 大熊猫同学 阅读(75) 评论(1) 推荐(0) 编辑
摘要: 主要解释下面3个常用的参数: index 参数 store 与 _source 参数 doc_value 参数 1、index 参数 默认为true。当设置为true时,代表需要对该字段进行检索,也即倒排查询,根据 query 条件 查询 doc_id 2、store 与 _source 参数 这2 阅读全文
posted @ 2023-08-23 18:06 大熊猫同学 阅读(174) 评论(1) 推荐(0) 编辑
摘要: 什么是 5why 分法法? 所谓5why分析法,又称“5问法”,也就是对一个问题点连续以5个“为什么”来自问,以追究其根本原因。 虽为5个为什么,但使用时不限定只做“5次为什么的探讨”,主要是必须找到根本原因为止,有时可能只要3次,有时也许要10次,如古话所言:打破砂锅问到底。 5why法的关键所在 阅读全文
posted @ 2023-03-25 22:26 大熊猫同学 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 背景 面向C端用户的在线核心搜索系统底层采用ES作为核心“存储/检索”引擎,搜索作为用户购买决策的核心链路的一部分,对系统的可靠性要求tp9999,对查询性能要求极高(召回+排序 300ms以内)。如何搭建一套这样系统稳定、性能可靠的搜索系统呢? 索引构建 索引构建流程图如下: 各类业务数据存储在自 阅读全文
posted @ 2023-03-25 21:59 大熊猫同学 阅读(114) 评论(6) 推荐(0) 编辑
摘要: Redis 持久化机制 1 RDB 每隔一段时间,生成一个指定时间点的快照。RDB 使用 fork 子进程进行数据的持久化,数据IO操作在子进程中执行。 1.1 优点 RDB 文件简单,它保存的是到某个时间点内所有的 Redis 数据集(键值对),很适合用于归档。单个文件也很方便地传输给其它数据中心 阅读全文
posted @ 2022-12-25 12:24 大熊猫同学 阅读(63) 评论(0) 推荐(0) 编辑
摘要: S:当我们接到一个产品需求时,需要调用下游服务方提供的接口,比如调用下游 LBS 服务召回附近的商家,这时候需要拉着下游 RD 做技术方案评审,确定下游提供的接口是否满足 PRD 需求。 C:在 PRD 评审时,往往只是 PM 拉着各方 RD 评完了产品功能,RD 需要评估出实现产品功能需要依赖的外 阅读全文
posted @ 2022-11-20 18:11 大熊猫同学 阅读(103) 评论(0) 推荐(0) 编辑
摘要: ##一、搜索渠道 当公司有多个业务时,其他成熟的业务可为新的业务导流,因此新业务的搜索流量可来自其他业务,称为搜索渠道。 用户使用搜索多不多?搜索完后点击多不多?搜索完后下单多不多?围绕这三个问题从query维度(QV)和用户维度(UV)可以制定一系列的指标。 二、搜索各指标 指标分类:流量指标、转 阅读全文
posted @ 2022-09-04 10:56 大熊猫同学 阅读(2030) 评论(3) 推荐(0) 编辑