索引构建平台的设计

ES 离线索引构建讲了基于 spark 实现分布式索引构建,本文从流程上讲生产环境下的索引构建平台具有哪些功能。

显然,离线索引构建只是其中一个步骤,一个完整的索引构建平台还要考虑:

  1. 索引构建的周期是多少?什么时候进行索引的切换?
  2. 构建成功的索引,要做哪些处理,才能加载到线上?
  3. 构建好的索引,如何加载到线上承接流量?
  4. 索引上线前的前置动作,比如预热、合理性check等
  5. 定时任务构建的全量索引保存多久?如何支持索引的回滚?
  6. 如何构建增量索引,满足业务实时性需求?

额外讨论平台的作用是什么?

重复的工作简单化,简单的工作流程化,流程的工作自动化。将日常业务中的痛点可以用有流程的自动化工具来解决,就是平台的意义。

posted @ 2024-04-24 22:21  大熊猫同学  阅读(32)  评论(0编辑  收藏  举报