xxl-job 详解

1. 基本概念

1.1 定时任务是什么？

定时任务是在约定时间内执行的一段程序。

批量处理数据：批量统计上个月的某个数据。
时间驱动的场景：某个时间点发送短信、邮件。
固定频率的场景：每隔5分钟需要执行一次。

1.2 用cron表示时间

cron表达式是一个字符串，以 5 或 6 个空格隔开，分为 6 或 7 个域，每一个域代表一个含义。

[秒] [分] [时] [日期] [月] [星期]
[秒] [分] [时] [日期] [月] [星期] [年]
*：表示任何时间触发任务
,：表示指定的时间触发任务
-：表示一段时间内触发任务
/：表示从哪一个时刻开始，每隔多长时间触发一次任务。
?：表示用于月中的天和周中的天两个子表达式，表示不指定值。

如：0 30 8 * * ?表示每天早上8点半

crontab在线工具：https://tool.lu/crontab/
cron表达式详解：https://tech.antfin.com/docs/2/62247

1.3 基于Spring Task实现定时任务

优点：
- 不需要依赖外部框架。
- 简单快速实现任务。@EnableScheduling、@Scheduled 注解
缺点：
- 无法管理任务。要停止某个任务，必须重新发布。
- 不支持动态调整。修改任务参数需要重启项目。
- 不支持集群方式部署。集群模式下会出现任务多次被调度执行的情况，因为集群的节点之间是不会共享任务信息的，每个节点上的任务都会按时执行。

单体，即一个项目部署在一台服务器上；
集群，即将单体复制多份部署在多台服务器，其中每个单体被称为一个节点。

1.4 xxl-job的原理

执行器的注册和发现

执行器的注册和发现主要是关系两张表：

xxl_job_registry：执行器的实例表，保存实例信息和心跳信息，xxl_job_group:每个服务注册的实例列表。

执行器启动线程每隔30秒向注册表xxl_job_registry请求一次，更新执行器的心跳信息，调度中心启动线程每隔30秒检测一次xxl_job_registry，将超过90秒还没有收到心跳的实例信息从xxl_job_registry删除，并更新xxl_job_group服务的实例列表信息。

调度中心调用执行器

调度中心的操作：

调度中心通过循环不停的：

关闭自动提交事务
利用mysql的悲观锁，其他事务无法进入

select * from xxl_job_lock where lock_name = 'schedule_lock' for update

读取数据库中的xxl_job_info：记录定时任务的相关信息，该表中有trigger_next_time字段表示下一次任务的触发时间。拿到距离当前时间5s内的任务列表，分为三种情况处理：
- 对于当前时间-任务的下一次触发时间>5，直接调过不执行，重置trigger_next_time的时间。(超过5s)
- 对于任务的下一次触发时间<当前时间<任务的下一次触发时间+5的任务（不超过5s的）：
  - 开线程处理执行触发逻辑，根据当前时间更新下一次任务触发时间
  - 如果新的任务下一次触发时间-当前时间<5,放到时间轮中，时间轮是一个map：
```
  private volatile static Map<Integer, List<Integer>> ringData = new ConcurrentHashMap<>();
```
  - 根据新的任务下一次触发时间更新下下一次任务触发时间
- 对于任务的下一次触发时间>当前时间，将其放入时间轮中，根据任务下一次触发时间更新下下一次任务触发时间
commit提交事务，同时释放排他锁

执行器的操作：

执行器接收到调度中心的调度信息，将调度信息放到对应的任务的等待队列中
执行器的任务处理线程从任务队列中取出调度信息，执行业务逻辑，将结果放入一个公共的等待队列中（每个任务都有一个单独的处理线程和等待队列，任务信息放入该队列中）
执行器有一个专门的回调线程定时批量从结果队列中取出任务结果，并且回调告知调度中心

1.5 类似于xxl-job的有哪些框架？xxl-job有哪些优势？

分布式定时任务指的是运行在分布式集群环境下的调度任务，同一份定时任务部署多份，则同一时刻应当只允许一个定时任务执行。

分布式定时任务调度的框架：quartz、elastic-job、xxl-job

功能	quartz	elastic-job	xxl-job
HA(高可用)	多节点部署，通过数据库锁来保证只有一个节点执行任务	通过zookeeper的注册和发现，可以动态添加服务器，支持水平扩容	集群部署
任务分片	不支持	支持	支持
文档完善	完善	完善	完善
管理界面	没有	有	有
难易程度	简单	较复杂	简单
公司	OpenSymphony	当当网	个人
缺点	没有管理界面不支持任务分片，不适用于分布式场景	需要引入zookeeper，增加系统复杂度，比较复杂	通过获取数据库锁的方式，保证集群中执行任务的唯一性，性能不好

quartz和xxl-job对比：

quartz采用api的方式调用任务，不方便，但是xxl-job使用的是管理界面。
quartz比xxl-job代码侵入更强
quartz调度逻辑和QuartzJobBean耦合在一个项目中，当任务增多，逻辑复杂的时候，性能会受到影响
quartz底层以抢占式获取db锁并且由抢占成功的节点运行，导致节点负载悬殊非常大；xxl-job通过执行器实现协同分配式运行任务，各个节点比较均衡。

elastic-job和xxl-job对比：

elastic-job是无中心化的，通过zookeeper的选举机制选出主服务器，如果主服务器挂了，重新选举出主服务器，因此elastic-job的扩展性和可用性较好，但是使用有一定的复杂度。使用于业务复杂，业务量大，服务器多。

xxl-job是中心式的调度平台调度执行器执行任务，使用的是DB锁来保证集群分布式调用的一致性，学习简单，操作容易，成本不高。

2. XXL-JOB

XXL-JOB是一个分布式任务调度平台（XXL是作者徐雪里姓名拼音的首字母），其核心设计目标是开发迅速、学习简单、轻量级、易扩展。

源码仓库地址：https://github.com/xuxueli/xxl-job

源码结构：

2.1 系统架构

在xxl-job中，有2个角色：

xxl-job-admin调度中心
统一管理任务调度平台上的调度任务，负责触发调度执行，并且提供任务管理平台。
xxl-job-executor执行器
执行器通常是我们的业务系统，如示例中的springboot项目。

2.1.1 设计思想

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性。

2.1.2 架构图

xxl-job就是一个中心化管理系统，系统主要通过MySQL管理各种定时任务信息，当到了定时任务的触发时间，就把任务信息从数据库中拉进内存，对任务执行器发起调度请求。

2.2 快速入门

整个调度任务执行流程如下：

启动xxl-job-admin工程。若无定制化开发，直接启动即可。
在xxl-job-excutor中需要引入xxl-job-core依赖，实现excutor的业务代码，配置xxl-job-admin的地址，主动向Xxl-job-admin注册，并建立netty连接。

2.2.1 配置调度中心

初始化数据库

/xxl-job/doc/db/tables_xxl_job.sql

表名	作用
xxl_job_group	执行器信息表：维护任务执行器信息
xxl_job_info	调度扩展信息表：用于保存xxl-job调度任务的扩展信息，如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等
xxl_job_lock	任务调度锁表
xxl_job_log	调度日志表：用于保存xxl-job调度任务的历史信息，如调度结果、执行结果、调度入参、调度机器和执行器等等
xxl_job_log_report	调度日志报表：用户存储xxl-job任务调度日志的报表，调度中心报表功能页面会用到
xxl_job_logglue	任务GLUE日志：用于保存GLUE更新历史，用于支持GLUE的版本回溯功能
xxl_job_registry	执行器注册表：维护在线的执行器和调度中心机器地址信息
xxl_job_user	系统用户表

调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例；如果mysql做主从，调度中心集群节点务必强制走主库。

配置application文件

/xxl-job/xxl-job-admin/src/main/resources/application.properties

调度中心1

### web
server.port=8100
server.servlet.context-path=/xxl-job-admin

### xxl-job, datasource
### 调度中心JDBC链接
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### xxl-job, email
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xx@qq.com
spring.mail.from=xx@qq.com
spring.mail.password=xx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token
### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=default_token
### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN
## xxl-job, triggerpool max size
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days
### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

调度中心2

### web
server.port=8300
server.servlet.context-path=/xxl-job-admin

### xxl-job, datasource
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root
spring.datasource.driver-class-name=com.mysql.cj.jdbc.Driver

### xxl-job, email
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xx@qq.com
spring.mail.from=xx@qq.com
spring.mail.password=xx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory

### xxl-job, access token
xxl.job.accessToken=default_token
### xxl-job, i18n (default is zh_CN, and you can choose "zh_CN", "zh_TC" and "en")
xxl.job.i18n=zh_CN
## xxl-job, triggerpool max size
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### xxl-job, log retention days
xxl.job.logretentiondays=30

启动
修改之后，启动XxlJobAdminApplication的main函数。
在浏览器上访问http://localhost:8100/xxl-job-admin/toLogin ，初始登陆用户名为admin，密码为123456（在初始化数据时导入xxl_job_user）。

调度中心集群：

调度中心支持集群部署，提升调度系统容灾和可用性。

调度中心集群部署时，几点要求和建议：

DB配置保持一致；
集群机器时钟保持一致；
建议：推荐通过Nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

2.2.2 配置执行器项目

xxl-job-excutor是任务的执行单元，需要在业务系统中实现。

在工程的pom.xml文件中引入xxl-job-core的依赖

<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>2.3.0</version>
</dependency>

配置application文件
web和执行器端口号不同，调度中心地址addresses和执行器应用名appname保持一致

执行器1

# web port
server.port=8181
# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
### 调度中心部署根地址 [选填]：如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"；为空则关闭自动注册；
xxl.job.admin.addresses=http://127.0.0.1:8100/xxl-job-admin,http://127.0.0.1:8300/xxl-job-admin

### xxl-job, access token
### 执行器通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=default_token

### xxl-job executor appname
### 执行器AppName [选填]：执行器心跳注册分组依据；为空则关闭自动注册
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
### 执行器注册 [选填]：优先使用该配置作为注册地址，为空时使用内嵌服务 “IP:PORT” 作为注册地址。从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
xxl.job.executor.address=
### xxl-job executor server-info
### 执行器IP [选填]：默认为空表示自动获取IP，多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"；
xxl.job.executor.ip=
### 执行器端口号 [选填]：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
xxl.job.executor.port=9199
### xxl-job executor log-path
### 执行器运行日志文件存储磁盘路径 [选填] ：需要对该路径拥有读写权限；为空则使用默认路径；
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
### 执行器日志文件保存天数 [选填] ： 过期日志自动清理, 限制值大于等于3时生效; 否则, 如-1, 关闭自动清理功能；
xxl.job.executor.logretentiondays=30

执行器2

# web port
server.port=8381
# no web
#spring.main.web-environment=false

# log config
logging.config=classpath:logback.xml


### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
xxl.job.admin.addresses=http://127.0.0.1:8300/xxl-job-admin,http://127.0.0.1:8100/xxl-job-admin

### xxl-job, access token
xxl.job.accessToken=default_token

### xxl-job executor appname
xxl.job.executor.appname=xxl-job-executor-sample
### xxl-job executor registry-address: default use address to registry , otherwise use ip:port if address is null
xxl.job.executor.address=
### xxl-job executor server-info
xxl.job.executor.ip=
xxl.job.executor.port=9399
### xxl-job executor log-path
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
### xxl-job executor log-retention-days
xxl.job.executor.logretentiondays=30

在XxljobConfig中初始化一个XxlJobSpringExecutor，该类用于处理xxl-job-admin和xxl-job-excutor之间的通讯以及任务的处理。

@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;


    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 针对多网卡、容器内部署等情况，可借助 "spring-cloud-commons" 提供的 "InetUtils" 组件灵活定制注册IP；
     *
     *      1、引入依赖：
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      2、配置文件，或者容器启动变量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      3、获取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */


}

注册一个任务，任务名为demoJobHandler。


    /**
     * 1、简单任务示例（Bean模式）
     */
    @XxlJob("demoJobHandler")
    public void demoJobHandler() throws Exception {
        XxlJobHelper.log("XXL-JOB, Hello World.");

        for (int i = 0; i < 5; i++) {
            XxlJobHelper.log("beat at:" + i);
            TimeUnit.SECONDS.sleep(2);
        }
        // default success
    }

启动执行器，在调度中心的执行器管理查看

调度中心自动注册了应用名为xxl-job-executor-sample的执行器，有两个注册节点，分别是9199和9399。

在调度中心的任务管理中配置相应的任务。

运行模式：

BEAN模式：支持基于类的开发方式，每个任务对应一个Java类。
GLUE模式：任务以源码方式维护在调度中心，支持通过Web IDE在线更新，实时编译和生效，因此不需要指定JobHandler。

路由策略：集群模式下某个任务选择由哪个执行器完成的策略。

路由策略：当执行器集群部署时，提供丰富的路由策略，包括；
        FIRST（第一个）：固定选择第一个机器；
        LAST（最后一个）：固定选择最后一个机器；
        ROUND（轮询）：；
        RANDOM（随机）：随机选择在线的机器；
        CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。
        LEAST_FREQUENTLY_USED（最不经常使用）：使用频率最低的机器优先被选举；
        LEAST_RECENTLY_USED（最近最久未使用）：最久未使用的机器优先被选举；
        FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；
        BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；
        SHARDING_BROADCAST(分片广播)：广播触发对应集群中所有机器执行一次任务，同时系统自动传递分片参数；可根据分片			参数开发分片任务；
任务超时时间：支持自定义任务超时时间，任务运行超时将会主动中断任务；
失败重试次数；支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；

执行任务后，在调度中心可以查看调度日志。

查看两个临近的调度结果，可以发现任务是由两个执行器轮询执行的。

执行器集群：

执行器支持集群部署，提升调度系统可用性，同时提升任务处理能力。

执行器集群部署时，几点要求和建议：

执行器回调地址（xxl.job.admin.addresses）需要保持一致；执行器根据该配置进行执行器自动注册等操作。
同一个执行器集群内AppName（xxl.job.executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。

3. 总结

XXL-JOB是一个分布式任务调度平台。有2个角色，xxl-job-admin调度中心和xxl-job-executor执行器。调度中心统一管理调度任务，不承担业务逻辑，负责发起调度请求。执行器是我们的业务系统，负责接收调度请求并执行对应的JobHandler中的业务逻辑。

特性：

简单：有界面维护定时任务和触发规则，方便管理；
动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
调度中心（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心；
执行器（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行；
邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件。
Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；

posted on 2023-04-04 16:44 何苦-> 阅读(2073) 评论(0) 编辑收藏举报

刷新页面返回顶部

肤浅