关于作业系统的一些思考

作业程序有两种类型:

  • Long-lived 作业程序:输入或输出是无限量的数据,常见近乎实时的业务数据处理,比如日志处理等。(一般将消息队列连接输入,用来做流量削峰或多个输入)
  • Short-lived 作业程序:处理一组有限的数据然后终止。运行代码并在数据库中记录执行状态的任务,然后结束。

常见的做法是,基于 Spring Cloud Stream 框架编写 Long-lived 作业程序,基于 Spring Cloud Task 或 Spring Batch 框架编写 Short-lived 作业程序;

Spring Cloud Data Flow 可以用来调度作业程序:

作业系统一般分为 调度执行编排

  • 调度 就指示了作业谁来执行、什么时候执行、怎么执行等,由此可以延伸出定期调度、手动调度、路由策略、过期策略、阻塞策略、失败重试等等,这些都是 调度 需要处理的事情。
  • 编排 处理作业之间的依赖关系,子作业等。
  • 执行 具体的作业逻辑。


参考资料:
posted @ 2024-11-19 17:15  JMCui  阅读(21)  评论(0编辑  收藏  举报