随笔分类 -  搜推业务

索引构建平台的设计
摘要：ES 离线索引构建讲了基于 spark 实现分布式索引构建，本文从流程上讲生产环境下的索引构建平台具有哪些功能。 显然，离线索引构建只是其中一个步骤，一个完整的索引构建平台还要考虑： 索引构建的周期是多少？什么时候进行索引的切换？ 构建成功的索引，要做哪些处理，才能加载到线上？ 构建好的索引，如何加 阅读全文
posted @ 2024-04-24 22:21 大熊猫同学 阅读(32) 评论(0) 推荐(0) 编辑
搜索 debug - 判断文档是由哪个查询语句召回的
摘要：如何判断用户输入的查询词，是哪部分命中了 ES 索引中的字段？比如用户输入“葡萄苹果”进行搜索，在查询分析过程会对“葡萄苹果”进行分词，并且进行同义词扩展，最终会以用户输入的查询词和扩展出来的同义词，进行分词之后，再查询 ES spuindex 索引的 spu_name_mt 字段，输入如下查询语句 阅读全文
posted @ 2024-04-11 10:54 大熊猫同学 阅读(13) 评论(0) 推荐(0) 编辑
ES 离线索引构建
摘要：本文讲解 ES 离线索引构建涉及一些核心功能实现原理，适用于10亿数据量，2-3小时内完成 ES 索引构建。 谈到索引构建，其实更熟悉的一个场景是： 一个线上服务，接收请求做了某些逻辑处理，然后想要将数据保存到 ES 用于后续的查询，这个过程是一般是基于 ES restful api 向 ES 集群 阅读全文
posted @ 2024-01-29 23:36 大熊猫同学 阅读(141) 评论(0) 推荐(0) 编辑
ES集群查询稳定性优化（二）
摘要：承继这篇文章，本文从“段文件”数量对 ES 查询性能影响的角度，结合 ES 索引构建 的工程实践，谈谈如何优化 ES 查询稳定性。 一篇严格的稳定性优化文章本应该贴很多“指标优化”数据，比如 优化前查询 TP99 是多少，优化后 TP99变成了多少？ 尖刺查询数量的变化？ GC 次数的变化？ ... 阅读全文
posted @ 2024-01-27 12:58 大熊猫同学 阅读(40) 评论(0) 推荐(0) 编辑
业界使用 ES 的一些工程实践
摘要：欢迎读者在评论区共享读过的 ES(ElasticSearch)工程实践的文章 性能优化 美团外卖搜索基于Elasticsearch的优化实践 美团外卖LBS场景下，采用 LongObjectHashMap hash 查询方式优化了倒排链的查询、采用 RLE 编码将 posting list 极致压缩 阅读全文
posted @ 2024-01-17 22:27 大熊猫同学 阅读(69) 评论(0) 推荐(0) 编辑
lucene posting list 编码之Frame of Reference
摘要：本文是：https://www.elastic.co/cn/blog/frame-of-reference-and-roaring-bitmaps 文章的翻译及理解。 lucene 在存储 doc 时，会为每个 doc 分配一个 doc_id。doc_id 是 segment 维度（index->s 阅读全文
posted @ 2023-11-27 19:53 大熊猫同学 阅读(80) 评论(4) 推荐(0) 编辑
ES集群查询稳定性优化（一）
摘要：如果将 Elasticsearch（ES）作为线上C端服务的查询引擎，那么 search query 的响应时间则至关重要。因为毕竟面向C端用户，如果一个搜索请求 1 秒内（端到端）还未返回，那么用户将不可接受。 因此，C端服务对ES的性能稳定性做了许多工程上的优化，比如： 强制将分片的段文件设置为 阅读全文
posted @ 2023-09-04 20:57 大熊猫同学 阅读(88) 评论(1) 推荐(0) 编辑
谈谈多路召回
摘要：搜索的多路召回 当选用 elasticsearch 作为电商的商品搜索存储系统时，用户输入一个 query 时，这个 query 是如何从es 中查询出商品数据的？ 首先，用户输入的 query 词会通过query 分析服务产出若干个从不同维度表达用户意图的tokens。比如输入“红富士苹果”，经 阅读全文
posted @ 2023-05-28 12:50 大熊猫同学 阅读(522) 评论(3) 推荐(0) 编辑
索引构建
摘要：背景 面向C端用户的在线核心搜索系统底层采用ES作为核心“存储/检索”引擎，搜索作为用户购买决策的核心链路的一部分，对系统的可靠性要求tp9999，对查询性能要求极高(召回＋排序　300ms以内)。如何搭建一套这样系统稳定、性能可靠的搜索系统呢？ 索引构建 索引构建流程图如下： 各类业务数据存储在自 阅读全文
posted @ 2023-03-25 21:59 大熊猫同学 阅读(130) 评论(6) 推荐(0) 编辑
如何接入下游服务接口？
摘要：S：当我们接到一个产品需求时，需要调用下游服务方提供的接口，比如调用下游 LBS 服务召回附近的商家，这时候需要拉着下游 RD 做技术方案评审，确定下游提供的接口是否满足 PRD 需求。 C：在 PRD 评审时，往往只是 PM 拉着各方 RD 评完了产品功能，RD 需要评估出实现产品功能需要依赖的外 阅读全文
posted @ 2022-11-20 18:11 大熊猫同学 阅读(110) 评论(0) 推荐(0) 编辑
搜索业务各指标
摘要：##一、搜索渠道 当公司有多个业务时，其他成熟的业务可为新的业务导流，因此新业务的搜索流量可来自其他业务，称为搜索渠道。 用户使用搜索多不多？搜索完后点击多不多？搜索完后下单多不多？围绕这三个问题从query维度（QV）和用户维度（UV）可以制定一系列的指标。 二、搜索各指标 指标分类：流量指标、转 阅读全文
posted @ 2022-09-04 10:56 大熊猫同学 阅读(2277) 评论(3) 推荐(0) 编辑
搜索框 sug 基本技术方案
摘要：一、候选 sug 词数据来源： 商品侧：query 召回的商品数、query 召回的订单数 query侧：QV、QV_CTR、QV_CXR 从这两个角度选出的 query 作为 sug 词候选集 二、数据处理（分析） 规则挖掘、FP算法挖掘、商品标题NER标签提取：功效/品牌/适用群体/适用场景+简 阅读全文
posted @ 2022-08-28 09:41 大熊猫同学 阅读(1144) 评论(0) 推荐(0) 编辑
正确的策略迭代流程是什么？
摘要：当前已经有了一版线上用户正在使用的方案，然后算法对某些策略做了模型迭代或者规则优化（反映在cxr或者更好的用户体验）产生了一版新的方案，新方案的上线流程是怎样的？ 方式一：新方案代码直接发版上线。没啥优点，缺点是万一线上用户使用效果不好，很难再回滚到就方案的代码。 方式二：开关配置，有一个开关是否使 阅读全文
posted @ 2022-08-26 09:27 大熊猫同学 阅读(99) 评论(0) 推荐(0) 编辑
query 推荐系统
摘要：一、定义 在电商搜索中，query 推荐是指为用户推荐符合其意图的 query，以方便用户输入或者吸引用户点击。 1.1 query 推荐的目标 引导用户使用搜索，提升搜索的渗透率。提升搜索渗透率，其实是让用户有更多的渠道能够进入到：“商品详情页”。各式各样的词功能其本质上是“引流”渠道。（搜索运营 阅读全文
posted @ 2022-05-14 11:09 大熊猫同学 阅读(917) 评论(2) 推荐(1) 编辑