摘要：算是一个比较常见的问题，银行对账（sftp读取使用csv格式，比ftp安全点），一般都是定时数据处理（可以使用spring boot 的Scheduled 可以方便处理） 以下只是说明关于sftp读取以及csv处理以及jdbc写入的 依赖的组件 spring-integration-sftp（包装处 阅读全文

摘要：easy-batch相关qa，还是很不错的资料 包括了数据读取的原理，数据写入的原理，数据校验，与spring batch 的比较，基于easy-batch的复杂处理方法（easy-flows） 参考链接： https://github.com/j-easy/easy-batch/wiki/faqs 阅读全文

摘要：easy-batch 的listeners给与我们提供了一个系统状态的一个日志监控点，同时 基于不同的类型提供了不通的监控 Job listener job 关联的 需要实现的方法签名 public interface JobListener { ​ void beforeJobStart(JobP 阅读全文

摘要：验证输入数据是每个批处理应用程序中必不可少的步骤。使用Easy Batch，可以通过注册一个或多个RecordValidator实现来验证记录，如下所示： Job job = new JobBuilder() .validator(new MyFirstRecordValidator()) .pro 阅读全文

摘要：Easy Batch通过RecordProcessor接口定义处理逻辑。在这里，可以实现对每条记录的处理方式。记录被提交到处理管道，其中每条记录从一个处理器传送到下一个处理器。记录类型可以从一个处理器更改为另一个。 可以在管道中定义任意数量的处理器： Job job = new JobBuilder 阅读全文

摘要：marshallers 可以将payload，转换为目标格式（xml，json，csv。。。） 内置的marshallers Record marshalling注意事项 默认情况下，DelimitedRecordMarshaller，FixedLengthRecordMarshaller，Open 阅读全文

摘要：mappers 可以实现输入的record 到领域对象的映射 api 模式 Job job = new JobBuilder() .mapper(new MyRecordMapper()) .build(); 提供的映射 自定义类型转换 一些recordMapper（DelimitedRecordM 阅读全文

摘要：基于RecordFilter我们可以过滤不需要的record 使用的场景 注释内容的过滤 日志文件的过滤 api 模式 Job job = new JobBuilder() .filter(new myRecordFilter()) .build(); 提供的filter 来自官方文档 参考资料 h 阅读全文

摘要：easy-batch writers 的作用是写入record 到sink 支持的数据sink 参考图 来自官方表格 注意事项和提示 在JdbcRecordWriter处理数据库事务。每批处理后将创建一个事务并提交/回滚。 在JpaRecordWriter预计一个Java对象作为输入，而不是一个Re 阅读全文

摘要：easy-batch 提供了一些已经实现好的reader，对于从数据源读取records ，我们只需要注册实现好的RecordReader 接口 (当然可以自己实现) readers 代码参考 Job job = new JobBuilder() .reader(new MyRecordReader 阅读全文

摘要：JobReport api easy-batch 包含了一个在batch 处理阶段的metrics 以及batch完成之后的报告 包含的信息 job启动以及结束的时间 job的状态 读取的record 写入的record 过滤的record 错误数 自定义metrics 通过JobMetrics的a 阅读全文

摘要：使用ScheduledExecutorService调度 因为job实现了java.util.concurrent.Callable 所以可以基于ScheduledExecutorService进行调度 参考代码 Job job = ..; ScheduledExecutorService sche 阅读全文

摘要：easy-batch 可以通过jmx 监控job 的运行状态（我们可以通过jmxexporter&&jmxtrans增强） 允许的jmx 指标 jmx mbean 名称为org.jeasy.batch.jmx.monitor:name=YourJobName 暴露的指标 job启动以及结束的时间 j 阅读全文

摘要：创建一个batch job 我们可以通过JobBuilder创建job 默认job 的名称为job 参考 Job job = new JobBuilder() .named("myJob") .build(); ​ // Or ​ Job job = JobBuilder.aNewJob() .na 阅读全文

摘要：job 领域api 参考图 说明 通用的处理流程为： 通过包含JobParameters 参数的JobBuilder创建job 通过JobExecutor 执行job 通过JobReport获取job运行的状态 record 以及batch api easy-batch 提供了一个通用的record 阅读全文

摘要：easy-rules 是一个简单，但是封装比较完备的java etl 框架，提供了比较完备的数据处理能力 是一个可以使用的数据处理框架,以下是一个简单的学习 项目说明 项目是官方的一个demo，主要是学习下easy-rules 的基本使用,主要是转换一个csv文件为xml 项目准备 项目结构 ├── 阅读全文