【Spring】SpringBatch快速入门

SpringBatch概述

　　文档：https://docs.spring.io/spring-batch/docs/current/reference/html/index.html

​ 　　Spring Batch是个轻量级的、 完善的批处理框架,旨在帮助企业建立健壮、高效的批处理应用。Spring Batch是Spring的一个子项目,使用Java语言并基于Spring框架为基础开发,使得已经使用Spring框架的开发者或者企业更容易访问和利用企业服务。

　　Spring Batch提供了大量可重用的组件,包括了日志追踪、事务、任务作业统计、任务重启、跳过、重复资源管理。对于大数据量和高性能的批处理任 务,Spring Batch同样提供了高级功能和特性来支持比如分区功能、远程功能。总之,通过Spring Batch能够支持简单的、复杂的和大数据量的批处理作业。

　　Spring Batch是一个批处理应用框架,不是调度框架，但需要和调度框架合作来构建完成的批处理任务。它只关注批处理任务相关的问题,如事务、并发、监控、执行等,并不提供相应的调度功能。如果需要使用调用框架，在商业软件和开源软件中已经有很多优秀的企业级调度框架(如Quartz. Tivoli、 Control-M、 Cron等)可以使用。

　　框架主要有以下功能: Transaction management (事务管理) Chunk based processing (基于块的处理) Declarative 1/0 (声明式的输入输出) Start/Stop/Restart (启动/停止/再启动) Retry/Skip (重试/跳过)

 　　

 　　框架一共有4个主要角色:

　　JobLauncher是任务启动器，通过它来启动任务，可以看做是程序的入口。

　　Job代表着一个具体的任务。

　　Step代表着一个具体的步骤，一个Job可以包含多个Step (想象把大象放进冰箱这个任务需要多少个步骤你就明白了) .

　　JobRepository是存储数据的地方，可以看做是一个数据库的接口，在任务执行的时候需要通过它来记录任务状态等等信息。

SpringBatch入门程序

　　1、创建一个SpringBoot项目，SpringBatch依赖，如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.test</groupId>
    <artifactId>test-springboot-batch</artifactId>
    <version>1.0-SNAPSHOT</version>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.5.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-batch</artifactId>
        </dependency>

        <!-- mysql -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.12</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

 

 　　2、编辑配置文件，这里要使用mysql数据库，任务信息持久化到数据库中

spring:
  datasource:
    username: root
    password: 123456
    url: jdbc:mysql://127.0.0.1:3306/test_springbatch?allowPublicKeyRetrieval=true&useSSL=true
    driver-class-name: com.mysql.cj.jdbc.Driver
    # 初始化数据库，文件在依赖jar包中
    schema: classpath:org/springframework/batch/core/schema-mysql.sql
    initialization-mode: always 

 　　3、编辑主启动类

@SpringBootApplication
public class Application {

    public static void main(String[] args) {

        SpringApplication.run(Application.class);
    }
}

　　4、配置Job

package com.test.config;

import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.StepContribution;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.core.scope.context.ChunkContext;
import org.springframework.batch.core.step.tasklet.Tasklet;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author H__D
 * @description 
 * @date 2021/10/30
 */
@Configuration
// 启用批处理功能
@EnableBatchProcessing
public class JobConfiguration {

    // 注入创建任务的对象
    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    // 注入创建步骤的对象
    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    @Bean
    public Job helloworldJob() {
        return jobBuilderFactory.get("helloworldJob")
                .start(step1())
                .build();
    }

    @Bean
    public Step step1() {
        return stepBuilderFactory.get("step1")
                .tasklet(new Tasklet() {
                    @Override
                    public RepeatStatus execute(StepContribution stepContribution, ChunkContext chunkContext) throws Exception {
                        System.out.println(Thread.currentThread().getName() + "------" + "hello world");
                        // 返回执行完成状态
                        return RepeatStatus.FINISHED;
                    }
                }).build();
    }
}

　　5、运行启动类

　　查看结果

 　　mysql数据库

核心API

　　参考：https://docs.spring.io/spring-batch/docs/current/reference/html/domain.html#domainLanguageOfBatch

　　Job

　　描述与批处理作业概念相关的构造型。AJob是封装了整个批处理过程的实体。与其他 Spring 项目一样，aJob与 XML 配置文件或基于 Java 的配置连接在一起。这种配置可以被称为“作业配置”。但是， Job它只是整个层次结构的顶部，如下图所示： 

　　

　　JobInstance

　　A JobInstance指的是逻辑作业运行的概念。考虑应该在一天结束时运行一次的批处理作业，例如Job上图中的“EndOfDay” 。有一个“EndOfDay”作业，但Job必须单独跟踪每个单独的运行。在这项工作的情况下，JobInstance每天有一个合乎逻辑的。

　　JobParameters

　　一个JobParameters对象包含一组用于启动批处理作业的参数。它们可用于识别甚至在运行期间作为参考数据，如下图所示：

　　

　　JobExecution

 　　A JobExecution指的是单次尝试运行作业的技术概念。执行可能以失败或成功结束，但JobInstance除非执行成功完成，否则对应于给定执行的不被视为完成。

 　　A Job定义了作业是什么以及如何执行它，并且 a JobInstance是一个纯粹的组织对象，用于将执行组合在一起，主要是为了启用正确的重启语义。

　　Step 

　　A Step是一个域对象，它封装了批处理作业的一个独立的、连续的阶段。因此，每个 Job 完全由一个或多个步骤组成。AStep包含定义和控制实际批处理所需的所有信息。这是一个必然模糊的描述，因为任何给定的内容Step都由开发人员自行决定编写Job. AStep可以像开发人员希望的那样简单或复杂。一个简单的Step可能将数据从文件加载到数据库中，需要很少或不需要代码（取决于使用的实现）。更复杂的 Step可能具有作为处理的一部分应用的复杂业务规则。与 a 一样Job， a Step有一个个体StepExecution与 unique 相关 JobExecution，如下图所示：

　　

　　StepExecution

 　　A StepExecution代表一次尝试执行 a Step。StepExecution 每次Step运行a 时都会创建一个新的，类似于JobExecution. 但是，如果一个步骤因为它之前的步骤失败而无法执行，则不会为其持久执行。A StepExecution仅在其Step实际启动时才创建。

　　Step执行由StepExecution类的对象表示。每个执行都包含对其相应步骤和JobExecution事务相关数据的引用，例如提交和回滚计数以及开始和结束时间。此外，每个步骤执行都包含一个ExecutionContext，其中包含开发人员需要在批处理运行中保留的任何数据，例如重新启动所需的统计信息或状态信息。

　　JobRepository

　　JobRepository是上述所有 Stereotypes 的持久性机制。它提供了CRUD操作JobLauncher，Job以及Step实现。当 Job第一次启动，一个JobExecution被从库中获得，并且，执行的过程中，StepExecution和JobExecution实施方式是通过将它们传递到存储库持续。

　　使用 Java 配置时，该@EnableBatchProcessing注解提供了一个 JobRepository作为开箱即用自动配置的组件之一

　　JobLauncher

 　　JobLauncher表示一个简单的接口，用于Job使用给定的 集合 启动JobParameters

public interface JobLauncher {

public JobExecution run(Job job, JobParameters jobParameters)
            throws JobExecutionAlreadyRunningException, JobRestartException,
                   JobInstanceAlreadyCompleteException, JobParametersInvalidException;
}

 

参考文档：

https://gitee.com/vahala/springbatchlearn

https://blog.csdn.net/cxy_chh/article/details/92062259