Spring Batch 批处理

Spring Batch框架工作原理

SpringBatch框架。它包含以下主要构建块

一个 Batch(批处理)过程由一个 Job(作业)组成。这个实体封装了整个批处理过程。

一个 Job(作业)可以由一个或多个 Step(步骤)组成。在大多数情况下，一个步骤将读取数据(通过 ItemReader)，处理数据(使用 ItemProcessor)，然后写入数据(通过 ItemWriter)。

JobLauncher处理启动一个 Job(作业)。

JobRepository存储关于配置和执行的 Job(作业)的元数据。

 

示例

pom依赖

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-batch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.batch</groupId>
            <artifactId>spring-batch-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.15</version>
        </dependency>

 

配置 Spring Batch Job

创建一个 BatchConfig类，它将配置Spring Batch。类顶部的@Configuration注解表明Spring可以使用该类作为bean定义的源。

我们添加了@EnableBatchProcessing注解，它支持所有所需 SpringBatch特性。它还提供了设置批处理作业的基本配置。

通过添加这个注解会需要很多操作。下面是 @EnableBatchProcessing创建的概述:

• JobRepository (bean名称 "jobRepository")

• JobLauncher (bean名称 "jobLauncher")

• JobRegistry (bean名称 "jobRegistry")

• JobExplorer (bean名称 "jobExplorer")

• PlatformTransactionManager (bean名称 "transactionManager")

• JobBuilderFactory (bean名称"jobBuilders")，它可以方便地防止您必须将作业存储库注入到每个 Job(作业)中

• StepBuilderFactory (bean名称 "stepBuilders")，以方便您避免将作业存储库和事务管理器注入到每个 Step(步骤)中

为了使 SpringBatch使用基于Map的 JobRepository，我们需要扩展 DefaultBatchConfigurer。重写 setDataSource()方法以不设置 DataSource。这将导致自动配置使用基于Map的 JobRepository。

import org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.context.annotation.Configuration;

@Configuration
@EnableBatchProcessing
public class BatchConfig extends DefaultBatchConfigurer {

}

 

配置Hello World Spring Batch 作业

@Configuration
public class HelloWorldJobConfig {

    @Bean
    public Job helloWorlJob(JobBuilderFactory jobBuilders, StepBuilderFactory stepBuilders) {
        return jobBuilders.get("helloWorldJob").start(helloWorldStep(stepBuilders)).build();
    }

    @Bean
    public Step helloWorldStep(StepBuilderFactory stepBuilders) {
        return stepBuilders.get("helloWorldStep").<Person, String>chunk(10)
                .reader(reader()).processor(processor()).writer(writer()).build();
    }

    @Bean
    public FlatFileItemReader<Person> reader() {
        return new FlatFileItemReaderBuilder<Person>().name("personItemReader")
                .resource(new ClassPathResource("csv/persons.csv"))
                .delimited().names(new String[]{"firstName", "lastName"}).targetType(Person.class).build();
    }

    @Bean
    public PersonItemProcessor processor() {
        return new PersonItemProcessor();
    }

    @Bean
    public FlatFileItemWriter<String> writer() {
        return new FlatFileItemWriterBuilder<String>().name("greetingItemWriter")
                .resource(new FileSystemResource("txt/greetings.txt"))
                .lineAggregator(new PassThroughLineAggregator<>()).build();
    }

}

 

处理数据

public class PersonItemProcessor implements ItemProcessor<Person, String> {


    private static final Logger LOGGER = LoggerFactory.getLogger(PersonItemProcessor.class);

    @Override
    public String process(Person person) throws Exception {
        String greeting = "Hello " + person.getFirstName() + " " + person.getLastName() + "!";
        LOGGER.info("converting '{}' into '{}'", person, greeting);
        return greeting;
    }

}

 

测试Spring Batch 示例

使用 @RunWith和 @SpringBootTest测试注解告诉 JUnit使用Spring的测试支持运行，并使用SpringBoot的支持引导。

SpringBatch附带一个 JobLauncherTestUtils实用程序类，用于测试批处理作业。

我们首先创建一个内部 BatchTestConfig类，将helloWorld作业添加到 JobLauncherTestUtils bean中。然后使用此bean的 launchJob()方法运行批处理作业。

如果执行的作业没有任何错误，则 ExitCode的值为 COMPLETED。

@RunWith(SpringRunner.class)
@SpringBootTest(classes = {XcSpringbootApplicationTests.BatchTestConfig.class})
public class XcSpringbootApplicationTests {

    @Autowired
    private JobLauncherTestUtils jobLauncherTestUtils;

    @Test
    public void testHelloWorldJob() throws Exception {
        JobExecution jobExecution = jobLauncherTestUtils.launchJob();
        assertThat(jobExecution.getExitStatus().getExitCode()).isEqualTo("COMPLETED");
    }

    @Configuration
    @Import({BatchConfig.class, HelloWorldJobConfig.class})
    static class BatchTestConfig {

        @Autowired
        private Job helloWorlJob;

        @Bean
        JobLauncherTestUtils jobLauncherTestUtils() throws NoSuchJobException {
            JobLauncherTestUtils jobLauncherTestUtils = new JobLauncherTestUtils();
            jobLauncherTestUtils.setJob(helloWorlJob);
            return jobLauncherTestUtils;
        }

    }

}

 

官网:https://spring.io/projects/spring-batch

参考:https://codenotfound.com/spring-batch-example.html

资料:https://www.jianshu.com/nb/39572085