【进阶之路】定时任务调用平台xxl-job

大家好，我是练习java两年半时间的南橘，从一名连java有几种数据结构都不懂超级小白，到现在懂了一点点的进阶小白，学到了不少的东西。知识越分享越值钱，我这段时间总结（包括从别的大佬那边学习，引用）了一些平常学习和工作中的重点（自我认为），希望给大家带来一些帮助

很多业务场景需要我们某一特定的时刻去做某件任务，定时任务解决的就是这种业务场景。一般来说，系统可以使用消息传递代替部分定时任务，两者有很多可以相互替换场景。如，发货成功发短信通知客户的业务场景，我们可以在发货成功后发送MQ消息到队列，然后去消费mq消息，发送短信。但是在很多情况，MQ系统并不能承担定时任务：

  • 每天5:30定时去sftp下载一天的还款计划
  • 每天23：00提交一天的日终计划
  • 每5分钟同步一次相关的订单状态

当遇到这些问题的时候，就可以考虑用到定时任务了。

XXL-JOB介绍

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

1、XXL-JOB特性：

  • 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
  • 2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；
  • 3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署，可保证调度中心HA；
  • 4、执行器HA（分布式）：任务分布式执行，任务”执行器”支持集群部署，可保证任务执行HA；
  • 5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址；
  • 6、弹性扩容缩容：一旦有新执行器机器上线或者下线，下次调度时将会重新分配任务；
  • 7、触发策略：提供丰富的任务触发策略，包括：Cron触发、固定间隔触发、固定延时触发、API（事件）触发、人工触发、父子任务触发；
  • 8、调度过期策略：调度中心错过调度时间的补偿处理策略，包括：忽略、立即补偿触发一次等；
  • 9、阻塞处理策略：调度过于密集执行器来不及处理时的处理策略，策略包括：单机串行（默认）、丢弃后续调度、覆盖之前调度；
  • 10、任务超时控制：支持自定义任务超时时间，任务运行超时将会主动中断任务；
  • 11、任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试；其中分片任务支持分片粒度的失败重试；
  • 12、任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便的扩展短信、钉钉等告警方式；
  • 13、路由策略：执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等；
  • 14、分片广播任务：执行器集群部署时，任务路由策略选择”分片广播”情况下，一次任务调度将会广播触发集群中所有执行器执行一次任务，可根据分片参数开发分片任务；
  • 15、动态分片：分片广播任务以执行器为维度进行分片，支持动态扩容执行器集群从而动态增加分片数量，协同进行业务处理；在进行大数据量业务操作时可显著提升任务处理能力和速度。
  • 16、故障转移：任务路由策略选择”故障转移”情况下，如果执行器集群中某一台机器故障，将会自动Failover切换到一台正常的执行器发送调度请求。
  • 17、任务进度监控：支持实时监控任务进度；
  • 18、Rolling实时日志：支持在线查看调度结果，并且支持以Rolling方式实时查看执行器输出的完整的执行日志；
  • 19、GLUE：提供Web IDE，支持在线开发任务逻辑代码，动态发布，实时编译生效，省略部署上线的过程。支持30个版本的历史版本回溯。
  • 20、脚本任务：支持以GLUE模式开发和运行脚本任务，包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
  • 21、命令行任务：原生提供通用命令行任务Handler（Bean任务，”CommandJobHandler”）；业务方只需要提供命令行即可；
  • 22、任务依赖：支持配置子任务依赖，当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔；
  • 23、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行；
  • 24、自定义任务参数：支持在线配置调度任务入参，即时生效；
  • 25、调度线程池：调度系统多线程触发调度运行，确保调度精确执行，不被堵塞；
  • 26、数据加密：调度中心和执行器之间的通讯进行数据加密，提升调度信息安全性；
  • 27、邮件报警：任务失败时支持邮件报警，支持配置多邮件地址群发报警邮件；
  • 28、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
  • 29、运行报表：支持实时查看运行数据，如任务数量、调度次数、执行器数量等；以及调度报表，如调度日期分布图，调度成功分布图等；
  • 30、全异步：任务调度流程全异步化设计实现，如异步调度、异步运行、异步回调等，有效对密集调度进行流量削峰，理论上支持任意时长任务的运行；
  • 31、跨语言：调度中心与执行器提供语言无关的 RESTful API 服务，第三方任意语言可据此对接调度中心或者实现执行器。除此之外，还提供了 “多任务模式”和“httpJobHandler”等其他跨语言方案；
  • 32、国际化：调度中心支持国际化设置，提供中文、英文两种可选语言，默认为中文；
  • 33、容器化：提供官方docker镜像，并实时更新推送dockerhub，进一步实现产品开箱即用；
  • 34、线程池隔离：调度线程池进行隔离拆分，慢任务自动降级进入”Slow”线程池，避免耗尽调度线程，提高系统稳定性；
  • 35、用户管理：支持在线管理系统用户，存在管理员、普通用户两种角色；
  • 36、权限控制：执行器维度进行权限控制，管理员拥有全量权限，普通用户需要分配执行器权限后才允许相关操作；

（感觉这个像水字数啊）

2、系统组成

调度模块（调度中心）：负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

执行模块（执行器）：负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；接收“调度中心”的执行请求、终止请求和日志请求等。

如图，我们可以看出xxl-job的执行方式，在调度中心建立好调度器，在代码中设定好执行器，就能够非常轻松的实现定时任务，比springboot里自带的定时任务更加的简单与可视化。

可视化就是XXL-JOB受欢迎的一个重要因素。

需要搭建xxl-job体系的同学可以去开源社区看

3、新增定时任务

xxl-job的使用也很简单，搭建完调度中心之后。

1、登录调度中心，密码之类的可以自行设置，默认的端口号是8080


2、新建一个执行器，执行器就类似于一个项目，调度任务需要隶属于某个执行器，执行器支持集群部署，提升调度系统可用性，同时提升任务处理能力。
当然，调度中心也是可以集群部署的，可以通过nginx为调度中心集群做负载均衡，分配域名。

  • 执行器回调地址（xxl.job.admin.addresses）需要保持一致；执行器根据该配置进行执行器自动注册等操作。
  • 同一个执行器集群内AppName（xxl.job.executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。

    3、登录调度中心，点击下图所示“新建任务”按钮，新建示例任务。然后，参考下面截图中任务的参数配置，点击保存。

    新建任务后有很多操作的选项，可以根据实际情况进行使用（强烈建议关闭没必要的定时任务，严重影响性能，如果你配置了elk，你会发现kibana里全是定时任务的日志）

4、在程序中开发：(介绍的是BEAN模式（类形式）)

  • JobHander：为Job方法添加注解，注解名为新增任务中的注解名。
  • 执行日志：需要通过 "XxlJobLogger.log" 打印执行日志。
  • 任务结果：默认任务结果为 "成功" 状态，不需要主动设置；如有诉求，比如设置任务结果为失败，可以通过"XxlJobHelper.handleFail/handleSuccess" 自主设置任务结果。

5、打印日志，并且可以在调度中心查看日志。但是如果是一天内多次重复调用，日志比较难查询，可以再辅以elk查询日志。同时，在新建任务的时候，也可以指定报错通知的邮箱，会在报错后发邮件通知。

4、任务模式的介绍

类形式虽然说每个任务需要占用一个java类，但是根据接口隔离原则、单一职责原则来看，其实这样才更加符合java的设计原则。同时，因为使用了调度中心，手动注册也不成问题。

但是在一些其他地方，比如不同情况、不同时间段执行相同的任务的时候，可以采用方法形式进行开发，一方面可以复用代码逻辑，另一方面也可以开发起来更方便。

5、调度模块剖析

  • 1、XXL-JOB中“调度模块”和“任务模块”完全解耦，调度模块进行任务调度时，将会解析不同的任务参数发起远程调用，调用各自的远程执行器服务。这种调用模型类似RPC调用，调度中心提供调用代理的功能，而执行器提供远程服务的功能。

  • 2、调度采用线程池方式实现，避免单线程因阻塞而引起任务调度延迟。

  • 3、XXL-JOB调度模块默认采用并行机制，在多线程调度的情况下，不同任务之间并行调度、并行执行，调度模块被阻塞的几率很低，大大提高了调度系统的承载量。

  • 4、XXL-JOB的单个任务，针对多个执行器是并行运行的，针对单个执行器是串行执行的。同时支持任务终止。

  • 5、任务调度错过触发时间时的处理策略：

    • 可能原因：服务重启；调度线程被阻塞，线程被耗尽；上次调度持续阻塞，下次调度被错过；

      过期超5s：本次忽略，当前时间开始计算下次触发时间

      过期5s内：立即触发一次，当前时间开始计算下次触发时间

6、优缺点介绍

优点 缺点
开发迅速、学习简单、轻量级、易扩展。开箱即用 调度中心通过获取DB锁来保证集群中执行任务的唯一性，如果短任务很多，随着调度中心集群数量增加，那么数据库的锁竞争会比较厉害，性能不好。
弹性扩容，分片广播，故障转移，Rolling实时日志，GLUE（支持在线编辑代码，免发布），任务进度监控，任务依赖，数据加密，邮件报警，运行报表，国际化 需要手动在调度中心添加任务不能实现自动扫描注册。
可视化管理界面
跨语言
可视化管理界面

还有许多关于xxl-job集群的内容大家可以去开源的官网上查看，我主要是向大家介绍一些重点内容与我自己使用的体验，具体怎么选择，如何使用，还是要根据大家自己的业务需求来进行选择。下面这张图是xxl-job和另一个常用的任务调度工具elastic-job的对比，大家也可以自己参考一下：

微信公众号，有兴趣的小伙伴来关注一下吧~我最新的内容都会在这里发布

posted @ 2020-12-04 14:51  南橘ryc  阅读(3988)  评论(0)  编辑  收藏  举报