如何健壮地批量资源创建
批量资源创建是一种典型的数据处理流程。这样的数据处理流程典型步骤是
- 加载输入数据集
- 遍历数据集，对每个条目，创建目标资源，目标资源可能是一种，也可能是嵌套的有层次结构的树状结构的一系列资源。
这样的处理流程，如果不做任何错误处理，整个程序处于脆弱状态。应该考虑哪些问题呢？
- 首先需要考虑的是，输入数据的格式可能不是标准的，需要在数据集加载部分做好数据格式的标准化，各种异常数据的处理。
- 数据校验部分：可以兼容、直接出错。
- 格式的标准化：可以直接做一遍处理，也可以转成某种中间数据格式等待进一步处理。
- 其次要考虑的是，创建资源的部分可能会出错。所以需要一开始就假设，创建资源的部分一定会出错。因此需要做幂等处理。
- 每个资源创建前，检查该资源是否已创建成功过，已创建成功的，直接跳过。
- 每个资源创建后，如果成功创建，要持久化记录状态。
- 每个资源创建，如果失败，可以直接出错退出程序，等待诊断问题。
经过这样的流程，整个程序可以任意多次地重复跑，中间可以任意停机。整个程序符合
- 幂等：多次执行程序，大体上是效果一致的。
- 最终一致性：在允许出错重跑的情况下，最终数据处理流程达到目标。
