索引构建平台的设计

ES 离线索引构建讲了基于 spark 实现分布式索引构建,本文从流程上讲生产环境下的索引构建平台具有哪些功能。

显然,离线索引构建只是其中一个步骤,一个完整的索引构建平台还要考虑:

  1. 索引构建的周期是多少?什么时候进行索引的切换?
  2. 构建成功的索引,要做哪些处理,才能加载到线上?
  3. 构建好的索引,如何加载到线上承接流量?
  4. 索引上线前的前置动作,比如预热、合理性check等
  5. 定时任务构建的全量索引保存多久?如何支持索引的回滚?
  6. 如何构建增量索引,满足业务实时性需求?

额外讨论平台的作用是什么?

重复的工作简单化,简单的工作流程化,流程的工作自动化。将日常业务中的痛点可以用有流程的自动化工具来解决,就是平台的意义。

posted @   大熊猫同学  阅读(55)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 零经验选手,Compose 一天开发一款小游戏!
· 通过 API 将Deepseek响应流式内容输出到前端
点击右上角即可分享
微信分享提示