浅谈分布式任务调度---xxljob

概念：

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。xxl三个字母是其开发者许雪里名字的缩写。

 

几个特性：

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效
3、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行，每30秒清理一次注册表中的无效机器。同时，也支持手动录入执行器地址；
4 、失败处理策略：每10秒检测失败任务，报警和重试；
5、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行

 

架构图：

执行流程：

1、“调度中心”向“执行器”发送http调度请求: “执行器”中接收请求的服务，实际上是一台内嵌jetty服务器，默认端口9999;
2、“执行器”执行任务逻辑；
3、“执行器”http回调“调度中心”调度结果: “调度中心”中接收回调的服务，是针对执行器开放一套API服务;

 

.触发算法：

1.早期：基于quartz.现在：timewheel时间轮，这个时间轮本质就是一个Map<Integer, List>
拿到了距now 5秒内的任务列表数据：scheduleList，分三种情况处理：for循环遍历scheduleList集合

（1）对到达now时间后的任务：（任务下一次触发时间+5s<now)：直接跳过不执行； 重置trigger_next_time；

（2）对到达now时间后的任务：(任务下一次触发时间<now<任务下一次触发时间+5s)：线程执行触发逻辑； 若任务下一次触发时间是在5秒内， 则放到时间轮内（Map<Integer, List> 秒数(1-60) => 任务id列表）；再 重置trigger_next_time

（3）对未到达now时间的任务（任务下一次触发时间>now）：直接放到时间轮内；重置trigger_next_time 。

 

一致性保证

为了避免多个服务器同时调度任务， 通过mysql悲观锁实现分布式锁（for update语句）

1 setAutoCommit(false)关闭隐式自动提交事务，

2 启动事务select lock for update（排他锁）

3 读db任务信息 -> 拉任务到内存时间轮 -> 更新db任务信息

4 commit提交事务，同时会释放for update的排他锁（悲观锁）

任务处理完毕后，释放悲观锁，准备等待下一次循环。

 

 

工作原理：

1.任务执行器根据配置的调度中心的地址，启动注册线程向调度中心的执行器管理发起自动注册。执行器管理中保存着注册执行器，后续会根据这个注册信息给执行器下发任务。

2.如果此时有需要执行的任务，任务管理模块会根据执行器管理中注册的执行器信息，向任务执行器下发任务。任务执行器中的任务执行服务接受到任务以后会将任务发送到待执行任务的队列中，队列中的任务会由执行线程JobHandler依次获取并且执行。这里会维护一个任务执行的线程池，池中就是一个个JobHandler线程，它们是执行任务的主力军。

3.JobHandler执行器基于线程池执行任务，并把执行结果放入执行结果队列中，同时会把执行日志写入任务日志文件中，以供日志查询。然后通知毁掉线程，告知任务执行完毕，回调线程会通知调度中心的监控运维模块，任务执行完毕。

4.用户可以在调度中心查看任务日志，其过程是通过发送日志查询请求给任务执行器中的日志服务，然后查询任务日志文件实现的。