|
收藏闪存小组博问

盗梦笔记

园龄：10年7个月粉丝：73关注：0

SpringBoot集成Xxl-Job

xxl-job介绍

开源社区：https://www.xuxueli.com/xxl-job

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。

xxl-job架构图

image

设计思想

将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求。

将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。

因此，“调度”和“任务”两部分可以相互解耦，提高系统整体稳定性和扩展性；

系统组成

调度模块（调度中心）：

  • 负责管理调度信息，按照调度配置发出调度请求，自身不承担业务代码。调度系统与任务解耦，提高了系统可用性和稳定性，同时调度系统性能不再受限于任务模块；

  • 支持可视化、简单且动态的管理调度信息，包括任务新建，更新，删除，GLUE开发和任务报警等，所有上述操作都会实时生效，同时支持监控调度结果以及执行日志，支持执行器Failover。

执行模块（执行器）：

  • 负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作，开发和维护更加简单和高效；

  • 接收“调度中心”的执行请求、终止请求和日志请求等。

源码地址

下载地址：https://gitee.com/xuxueli0323/xxl-job.git

项目目录结构
image

xxl-job-admin 调度中心，可视化管理各执行器的执行任务，查看执行日志和数据报表等

xxl-job-core 公共依赖，核心功能，包括 自定义任务注解，执行器交互接口、接口本地实现以及接口远程调用实现，执行器的初始化等

xxl-job-executor-samples 执行器案例，包括 spring、springboot、无框架版本等执行器demo

初始化“调度数据库”

请下载项目源码并解压，获取 “调度数据库初始化SQL脚本” 并执行即可。
找到SQL脚本：/xxl-job/doc/db/tables_xxl_job.sql，导入数据库中生成以下数据表
image

调度中心支持集群部署，集群情况下各节点务必连接同一个mysql实例;

如果mysql做主从,调度中心集群节点务必强制走主库;

配置部署“调度中心”

调度中心项目：xxl-job-admin

作用：统一管理任务调度平台上调度任务，负责触发调度执行，并且提供任务管理平台。

调度中心配置

### 调度中心JDBC链接：链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai
spring.datasource.username=root
spring.datasource.password=root_pwd
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
### 报警邮箱
spring.mail.host=smtp.qq.com
spring.mail.port=25
spring.mail.username=xxx@qq.com
spring.mail.password=xxx
spring.mail.properties.mail.smtp.auth=true
spring.mail.properties.mail.smtp.starttls.enable=true
spring.mail.properties.mail.smtp.starttls.required=true
spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory
### 调度中心通讯TOKEN [选填]：非空时启用；
xxl.job.accessToken=
### 调度中心国际化配置 [必填]： 默认为 "zh_CN"/中文简体, 可选范围为 "zh_CN"/中文简体, "zh_TC"/中文繁体 and "en"/英文；
xxl.job.i18n=zh_CN
## 调度线程池最大线程配置【必填】
xxl.job.triggerpool.fast.max=200
xxl.job.triggerpool.slow.max=100
### 调度中心日志表数据保存天数 [必填]：过期日志自动清理；限制大于等于7时生效，否则, 如-1，关闭自动清理功能；
xxl.job.logretentiondays=30

部署项目

如果已经正确进行上述配置，可将项目编译打包部署。

调度中心访问地址：http://127.0.0.1:8080/xxl-job-admin/ (该地址执行器将会使用到，作为回调地址)

默认登录账号 “admin/123456”, 登录后运行界面如下图所示。
image

调度中心集群（可选）

调度中心支持集群部署，提升调度系统容灾和可用性。

调度中心集群部署时，几点要求和建议：

  • DB配置保持一致；
  • 集群机器时钟保持一致（单机集群忽视）；

建议：推荐通过nginx为调度中心集群做负载均衡，分配域名。调度中心访问、执行器回调配置、调用API服务等操作均通过该域名进行。

部署在多台服务器(不同服务器无需改任何配置，相同服务器的调度中心端口需要修改)
image
执行器项目中对调度中心进行多节点的配置
image
当某个调度中心挂了，定时任务依然会正常运行，由另一个节点的调度中心来提供服务。

配置部署“执行器项目”

执行器项目：xxl-job-executor-sample-springboot (提供多种版本执行器供选择，现以 springboot 版本为例，可直接使用，也可以参考其并将现有项目改造成执行器)

作用：负责接收“调度中心”的调度并执行；可单独部署执行器，也可以将执行器集成到现有业务项目中。

引入xxl-job-core依赖

<dependency>
   <groupId>com.xuxueli</groupId>
   <artifactId>xxl-job-core</artifactId>
   <version>2.3.0</version>
</dependency>

添加配置文件

logging:
  config: classpath:logback.xml
xxl:
  job:
    # 执行器token，非空时启用 xxl-job, access token
    accessToken: hbz
    admin:
      # 调度中心部署地址，多个配置逗号分隔 "http://address01,http://address02"
      addresses: http://127.0.0.1:8080/xxl-job-admin
    executor:
      # [选填]执行器注册：优先使用该配置作为注册地址，为空时使用内嵌服务“IP:PORT”作为注册地址。
      # 从而更灵活的支持容器类型执行器动态IP和动态映射端口问题。
      address:
      # [选填]执行器IP ：默认为空表示自动获取IP（即springboot容器的ip和端口，可以自动获取，也可以指定），多网卡时可手动设置指定IP，该IP不会绑定Host仅作为通讯实用；地址信息用于 "执行器注册" 和 "调度中心请求并触发任务"，
      ip:
      # 执行器app名称,和控制台那边配置一样的名称，不然注册不上去
      appname: first-study
      # [选填]执行器端口号：小于等于0则自动获取；默认端口为9999，单机部署多个执行器时，注意要配置不同执行器端口；
      port: 38801
      # 执行器日志文件存储路径，需要对该路径拥有读写权限；为空则使用默认路径
      logpath: logs/xxl-job/first-study
      # 执行器日志保存天数
      logretentiondays: 7

logback.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">
    <contextName>logback</contextName>
    <property name="log.path" value="./data/logs/xxl-job/app.log"/>
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log.path}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
    </appender>
    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>
</configuration>

执行器组件配置

@Configuration
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.appname}")
    private String appname;

    @Value("${xxl.job.executor.address}")
    private String address;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appname);
        xxlJobSpringExecutor.setAddress(address);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
        return xxlJobSpringExecutor;
    }
}

添加xxl-job测试

在启动类上添加注解@EnableScheduling

@Slf4j
@Component
@RequiredArgsConstructor
public class XxlJobTest {

    @XxlJob("xxlJobTest")
    public ReturnT<String> xxlJobTest(String date) {
        log.info("---------xxlJobTest定时任务执行成功--------");
        return ReturnT.SUCCESS;
    }
}

xxl-job-admin添加执行器

image
此处的AppName填你项目中配置的xxl.job.executor.appname名称。选择自动注册，保存即可。

添加任务

image
选择刚刚添加的执行器，然后点击“新增”按钮，新增任务：
image

注意：此处的JobHandler填@XxlJob注解后面的值。
此时点击“操作-启动”，定时任务就运行了。以上示例中是每分钟运行一次。

启动项目测试

当启动我们的测试项目，会发现打印的启动日志已经注册到xxl-job。然后就能看到已经成功执行定时任务并打印日志。
image

执行器集群（可选）

执行器支持集群部署，提升调度系统可用性，同时提升任务处理能力。

执行器集群部署时，几点要求和建议：

  • 执行器回调地址（xxl.job.admin.addresses）需要保持一致；执行器根据该配置进行执行器自动注册等操作。
  • 同一个执行器集群内AppName（xxl.job.executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。

本文作者：zhaojh

本文链接：https://www.cnblogs.com/zhaojinhui/p/16792110.html

版权声明：本作品采用zhaojh许可协议进行许可。

posted @   盗梦笔记  阅读(212)  评论(0)  编辑  收藏  举报
历史上的今天：
2020-10-14 notepad++使用技巧
评论
收藏
关注
推荐
深色
回顶
收起
点击右上角即可分享
微信分享提示
AI IDE Trae