关于作业系统的一些思考

作业程序有两种类型：

• Long-lived 作业程序：输入或输出是无限量的数据，常见近乎实时的业务数据处理，比如日志处理等。（一般将消息队列连接输入，用来做流量削峰或多个输入）
• Short-lived 作业程序：处理一组有限的数据然后终止。运行代码并在数据库中记录执行状态的任务，然后结束。

常见的做法是，基于 Spring Cloud Stream 框架编写 Long-lived 作业程序，基于 Spring Cloud Task 或 Spring Batch 框架编写 Short-lived 作业程序；

Spring Cloud Data Flow 可以用来调度作业程序：

作业系统一般分为 调度、执行 和 编排；

• 调度 就指示了作业谁来执行、什么时候执行、怎么执行等，由此可以延伸出定期调度、手动调度、路由策略、过期策略、阻塞策略、失败重试等等，这些都是 调度 需要处理的事情。
• 编排 处理作业之间的依赖关系，子作业等。
• 执行 具体的作业逻辑。

参考资料：

• Spring Cloud Data Flow
• Spring Batch Architecture
• XXL-JOB