定时任务框架【Quartz、xxl-job、elastic-job】
- 使用Linux系统的crontab直接调用Java服务
- 优缺点:
- 优点:部署简单,由linux系统维护相对Java进程维护更加维定
- 缺点:单机部署,风险大;出问题后排错难度大;需要运维介入成本大
- 总结:针对目前项目情况,弊大于利
少服务器 后期维护方便 增加任务省事 而且快捷 不涉及启停服务
- 优点:支持集群部署
- 缺点:没有自带的管理界面;调度逻辑和执行任务耦合在一起;维护需要重启服务
- 总结:针对目前项目情况,利弊相同
- 优点:支持集群部署;提供运维界面维护成本小;自带错误预警;相对elastic-job来说不需要额外的组件(zookeeper);支持调度策略;支持分片; 故障转移 ;更适合分布式
- 缺点:相对Quartz来说需要多部署调度中心
- 总结:针对目前项目情况,利大于弊
- 优点:支持集群部署;维护成本小
- 缺点:elastic-job需要zookeeper,zookeeper集群高可用至少需要三台服务器
- 总结:针对目前项目情况,弊大于利
综合选型原则及三个定时任务框架的优缺点和目前项目的状况,建议选用xxl-job
- xxl-job参考资料: http://www.cnblogs.com/xuxueli/p/5021979.html
- 一些实用特性:
(1)执行失败可以查看日志
(2)支持邮件报警
(3)路由策略支持轮询等策略,可以减轻执行服务器的压力
(4)轮询时间等参数修改后立即生效
(5)执行器有问题或新增,快速识别
(6)调度中心高可用,调度中心可以集群部署(集群部署的机器时钟必须同步),如果调度中心没有做负载在执行器的配置中需要配多个地址,如果调度中心配置负载则执行器配置负载地址即可
(7)执行器高可用(执行器可以集群部署)
- 目前项目的所有定时任务(和运维亚光确认)共8个
- 不同定时任务策略的建议
(1)结算相关
a.罚息定时任务(wf-job-practical)
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
b.结清定时任务(wf-job-settlement)
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
(2) 短信相关
a. 短信发送定时任务(wf-sms-send-job)
路由策略:轮询
阻塞处理:丢弃后续调度
失败处理:失败告警
b.短信业务定时任务(wf-sms-write-job)
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
c.短信数据清理定时任务(wf-sms-cleardata-job)
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
(3).报表相关
a.风控定时任务wf-bi-risk-job
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
b. wf-bi-market-job
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
c.wf-bi-job
路由策略:轮询
阻塞处理:单机串行
失败处理:失败告警
- 说明:以下Demo以短信发送服务定时任务(wf-sms-send-job)为例
- 建议:执行器根据不同的模块建立工程(既方便统一部署又方便升级维护),比如:结算的定时任务可以组成一个工程;短信定时任务可以组成一个工程等
- 项目中增加xxl-job
(1)在pom中增加依赖
<dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>2.3.0</version> </dependency> <dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-executor-sample-frameless</artifactId> <version>2.3.0</version> </dependency>
(2)application.yml增加相关配置
xxl: job: admin: addresses: http://localhost:8888/xxl-job-admin executor: ip: port: 9999 logpath: /data/applogs/xxl-job/jobhandler appname: demo-job accessToken:
(3)增加configpackage com.example.demo.xxljob;
package com.example.demo.xxljob; import com.xxl.job.core.executor.impl.XxlJobSpringExecutor; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; @Configuration public class XxlJobConfig { @Value("${xxl.job.admin.addresses}") private String adminAddresses; @Value("${xxl.job.executor.appname}") private String appName; @Value("${xxl.job.executor.ip}") private String ip; @Value("${xxl.job.executor.port}") private int port; @Value("${xxl.job.accessToken}") private String accessToken; @Value("${xxl.job.executor.logpath}") private String logPath; private int logRetentionDays=-1; // @Bean(initMethod = "start", destroyMethod = "destroy") @Bean public XxlJobSpringExecutor xxlJobExecutor() { System.out.println(">>>>>>>>>>> xxl-job config init."); XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor(); xxlJobSpringExecutor.setAdminAddresses(adminAddresses); xxlJobSpringExecutor.setAppname(appName); xxlJobSpringExecutor.setIp(ip); xxlJobSpringExecutor.setPort(port); xxlJobSpringExecutor.setAccessToken(accessToken); xxlJobSpringExecutor.setLogPath(logPath); xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays); return xxlJobSpringExecutor; } }
(4)增加执行器
package com.example.demo.xxljob; import com.xxl.job.core.biz.model.ReturnT; import com.xxl.job.core.handler.annotation.XxlJob; import com.xxl.job.core.log.XxlJobLogger; import com.xxl.job.executor.sample.frameless.jobhandler.SampleXxlJob; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.stereotype.Component; /** * XxlJob开发示例 */ @Component public class SampleXxlJobPools { private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class); @XxlJob(value = "testJobHandler", init = "init", destroy = "destroy") public ReturnT<String> demoJobHandler(String param) throws Exception { XxlJobLogger.log("执行定时任务"); return ReturnT.SUCCESS; } public void init() { logger.info("testJobHandler init"); } public void destroy() { logger.info("testJobHandler destory"); } }
启动项目
查看任务调度中心-执行器管理-OnLine 机器地址,已在线说明运行成功