关于作业系统的一些思考
作业程序有两种类型:
- Long-lived 作业程序:输入或输出是无限量的数据,常见近乎实时的业务数据处理,比如日志处理等。(一般将消息队列连接输入,用来做流量削峰或多个输入)
- Short-lived 作业程序:处理一组有限的数据然后终止。运行代码并在数据库中记录执行状态的任务,然后结束。
常见的做法是,基于 Spring Cloud Stream 框架编写 Long-lived 作业程序,基于 Spring Cloud Task 或 Spring Batch 框架编写 Short-lived 作业程序;
Spring Cloud Data Flow 可以用来调度作业程序:
作业系统一般分为 调度
、执行
和 编排
;
调度
就指示了作业谁来执行、什么时候执行、怎么执行等,由此可以延伸出定期调度、手动调度、路由策略、过期策略、阻塞策略、失败重试等等,这些都是调度
需要处理的事情。编排
处理作业之间的依赖关系,子作业等。执行
具体的作业逻辑。
参考资料: