如何健壮地批量资源创建

批量资源创建是一种典型的数据处理流程。这样的数据处理流程典型步骤是

• 加载输入数据集
• 遍历数据集，对每个条目，创建目标资源，目标资源可能是一种，也可能是嵌套的有层次结构的树状结构的一系列资源。

这样的处理流程，如果不做任何错误处理，整个程序处于脆弱状态。应该考虑哪些问题呢？

• 首先需要考虑的是，输入数据的格式可能不是标准的，需要在数据集加载部分做好数据格式的标准化，各种异常数据的处理。
  • 数据校验部分：可以兼容、直接出错。
  • 格式的标准化：可以直接做一遍处理，也可以转成某种中间数据格式等待进一步处理。
• 其次要考虑的是，创建资源的部分可能会出错。所以需要一开始就假设，创建资源的部分一定会出错。因此需要做幂等处理。
  • 每个资源创建前，检查该资源是否已创建成功过，已创建成功的，直接跳过。
  • 每个资源创建后，如果成功创建，要持久化记录状态。
  • 每个资源创建，如果失败，可以直接出错退出程序，等待诊断问题。

经过这样的流程，整个程序可以任意多次地重复跑，中间可以任意停机。整个程序符合

• 幂等：多次执行程序，大体上是效果一致的。
• 最终一致性：在允许出错重跑的情况下，最终数据处理流程达到目标。