使用Java8 Stream流的skip + limit实现批处理
1、一般进行批处理时会将数据加入到一个临时的集合中,当数据量达到一定大小后进行下一步操作,数据量不足时需要进行额外的判断;
2、若使用Java8的Stream流中的 skip + limit 则可以让我们对集合方便快捷的操作,其中:
(1)skip(x):返回丢弃流中的前x个元素后剩下元素组成的新流;若原流中包含的元素个数小于x,则返回空流。
(2)limit(x): 对一个Stream流进行截断操作,获取其前x个元素;若原流中包含的元素个数小于x,那就获取其所有的元素;
3、实例代码如下:
public static void main(String[] args) { List<Integer> list = new ArrayList<>(); for (int i = 10; i < 36; i++) { list.add(i); } int limit = 10; for (int offset = 0; offset < list.size(); offset += limit) { List<Integer> subList = list.stream() .skip(offset) .limit(limit) .collect(Collectors.toList()); System.out.println(subList); } }
输出结果:
[10, 11, 12, 13, 14, 15, 16, 17, 18, 19] [20, 21, 22, 23, 24, 25, 26, 27, 28, 29] [30, 31, 32, 33, 34, 35]
3、通过结果也可以看出 skip 配合 limit 操作使用时, limit 是最多取出限制的大小,不用再判断最后一批数据量大小不够限定的大小时的处理。
改进版
int j = 0, size = list.size(), batchSize = 100; while (j < size) { batchList = list.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList()); j += batchSize; }