索引构建平台的设计
ES 离线索引构建讲了基于 spark 实现分布式索引构建,本文从流程上讲生产环境下的索引构建平台具有哪些功能。
显然,离线索引构建只是其中一个步骤,一个完整的索引构建平台还要考虑:
- 索引构建的周期是多少?什么时候进行索引的切换?
- 构建成功的索引,要做哪些处理,才能加载到线上?
- 构建好的索引,如何加载到线上承接流量?
- 索引上线前的前置动作,比如预热、合理性check等
- 定时任务构建的全量索引保存多久?如何支持索引的回滚?
- 如何构建增量索引,满足业务实时性需求?
额外讨论平台的作用是什么?
重复的工作简单化,简单的工作流程化,流程的工作自动化。将日常业务中的痛点可以用有流程的自动化工具来解决,就是平台的意义。