任务调度系统-任务依赖的设计

 1.     任务依赖需求描述：

例子：

一个作业分为如下子任务：

任务1，任务2，任务3，任务4

执行的顺序为，任务1---》任务2，任务3---》任务4

其中任务2，任务3可以并行执行，我们用下图描述：

                                                   

这是一个图形结构，我们预设，任务的起始点永远都是一个根节点，不管你业务如何，遵从这个设计是没有难度的，以后的流程，可以并行，也可以串行，任何一个阶段，都能支持并行和串行，因此，我们的子任务关系构成的数据结构为一个图。

 

2. 任务调度简单流程

 

1. 首先定义一个job代表一次业务的调度，job维护了任务1到任务4之间的关系。
2. 找到job的根节点任务1，先执行任务1，因为是根节点，没有父类，因此没有先决条件，任务被调度时，即可执行。
3. 执行完根节点之后，看该节点是否有子节点，没有则不继续，有则并行执行所有子节点的任务。
4. 此时任务2和任务3会被并行调用，我们假设调用指令先到任务2，任务2发现有1个父节点，且调用指令中表示父节点已经执行完成，那么就开始执行任务2的调度，同理任务3也是同样的逻辑。
5. 任务2和任务3执行完成之后，会先后或者同时调用任务4，我们这里为了避免同时并发造成的困扰，任务被调用这个方法要设置成同步，那么假设任务2先调用任务4，此时我们在内存中记录任务2已完成，并且任务4发现自己的2个父节点中，任务3的指令并没有来到，因此，此次调度跳过，等待任务3指令的到来。
6. 当任务3的指令到来，我们根据jobid，找到之前暂停的job，此时发现任务2,3都执行完成，那么开始执行任务4，本次业务调度完成。

 

 

3. 数据结构java类描述

    //jobConfig 及其子任务的依赖关系描述 

public class JobConfig {

    private Long id; //id     

    private TaskConfig task; //子任务根节点

    private String corn; //corn表达式   

}

 

// TaskConfig 描述子任务之间的依赖关系

public class TaskConfig {  

    Long id;                     

    String name; //任务名称  

    private Long jobId; //jobid

    private String target; //目标任务

    List<TaskConfig> parent; //父节点 

    List<TaskConfig> child; //子节点

}

 

//job类，描述每次任务调度的job

public class Job {

    Long id;

    JobConfig jobConfig; //所属job_config

    int status; //执行状态

}

 

//task类，描述每次任务调度的task

public class Task {

    Long id;

    TaskConfig taskConfig; //所属task_config

    Job job; //所属job

    int status; //执行状态

   //父task

List<Task> parentList;

}

 

 

4. 表结构描述

我们需要定义一些表来描述作业子任务之间的静态关系

和执行时的任务状态动态关系

 

/*

job_config表

用来描述job及其子任务的静态关系

*/

create table job_config(

  id,

  root_task_id --任务根节点

  corn    --corn表达式

);

 

 

/*

task_config表，描述job下的子任务之间的静态依赖关系

属于job_config表的子表

*/

create table task_config(

    id,  --id

    name,                                    --任务名称

    parent_id --父节点，多个用逗号隔开

    child_id  --子节点，多个用逗号隔开

    job_id    --所属的job_id

    target    --目标任务

)

 

 

/*

job执行状态表

 

*/

create table job(

    id,

    job_config_id, -- 所属job_config

    status, -- 执行状态

);

 

/*

task 执行状态表

job 的子表

*/

 

create table task(

    id,

    task_config_id, -- 所属task_config

    job_id, -- 所属job

    status, -- 执行状态

);

 

5. 伪代码描述job执行流程

 

捞取所有job_config表记录，根据corn去触发定时任务

事先构造job_config及其子任务之间的关系，从数据库中根据job_id捞取出

所有的task_config，然后根据其child，parent等构造一个关系对象

JobConfig jobConfig = buildJobConfig();

Job job =buildJob(); //包含持久化job

job.setJobConfig(jobConfig);

job.execute();

 

job.execute()方法详细代码：

//执行任务

public void execute(){

  //构造task树，描述task及其子task的关系

  //并持久化到数据库中

  Task root = buildRootTask();

  root.execute();

}

 

//task.execute 方法

public void execute(){

   String target = taskConfig.getTarget();

   //是否能执行，要判断先决条件，如果父节点未全部执行完，则跳过此次执行

   if(this.canRun()){

     boolean success = callTargetTask(target);

     if(success){

       //更新状态为成功

       this.updateStatusToSuccess();

     }else{

        //更新状态为失败

        this.updateStatusToFailed();

     }                                          

   }

   if(childList.size()>0){

     //递归执行子任务

     for(Task task : childList){

        task.execute();

     }

   }                                      

}

 

private boolean canRun(){

   for(Task task : parentList){

      if(!task.isFinished()){

         return false;

      }

   }

   return true;

}

 

Buildjobconfig代码：

 

 

6.任务失败重试设计

待续

 

分布式任务系统

任务调度系统，和任务执行系统应该分开部署

任务执行系统可以部署多台。调度系统也可以部署多台。

任务调度系统在callTargetTask的时候，用远程调用的形式，这样可以尽可能的提高并发的性能

和系统稳定性。