java8中stream最实用总结和调试技巧
背景
java8推出的集合操作流stream极大的方便了我们的开发,但stream支持的功能十分丰富,我们经常使用到的并不多。在开发中也发现有些人对stream并不熟悉,或者只会使用简单的功能。
举例来说 在 Java 7 中,如果要发现 type 为 grocery 的所有交易,然后返回以交易值降序排序好的交易 ID 集合,我们需要这样写:
List<Transaction> groceryTransactions = new Arraylist<>();
for(Transaction t: transactions){
if(t.getType() == Transaction.GROCERY){
groceryTransactions.add(t);
}
}
Collections.sort(groceryTransactions, new Comparator(){
public int compare(Transaction t1, Transaction t2){
return t2.getValue().compareTo(t1.getValue());
}
});
List<Integer> transactionIds = new ArrayList<>();
for(Transaction t: groceryTransactions){
transactionsIds.add(t.getId());
}
而在 Java 8 使用 Stream,代码更加简洁易读;而且使用并发模式,程序执行速度更快。
List<Integer> transactionsIds = transactions.parallelStream().
filter(t -> t.getType() == Transaction.GROCERY).
sorted(comparing(Transaction::getValue).reversed()).
map(Transaction::getId).
collect(toList());
包括我自己对一些stream的api也不太熟悉,在使用时需要现去查询相关的api资料。所以本文对在开发中经常使用到的集合类操作stream的api进行总结,并介绍利用idea开发工具调试stream时的小技巧。
stream介绍
1. 什么是流?
Stream 不是集合元素,它不是数据结构并不保存数据,它是有关算法和计算的,它更像一个高级版本的 Iterator。原始版本的 Iterator,用户只能显式地一个一个遍历元素并对其执行某些操作;高级版本的 Stream,用户只要给出需要对其包含的元素执行什么操作,比如 “过滤掉长度大于 10 的字符串”、“获取每个字符串的首字母”等,Stream 会隐式地在内部进行遍历,做出相应的数据转换。
Stream 就如同一个迭代器(Iterator),单向,不可往复,数据只能遍历一次,遍历过一次后即用尽了,就好比流水从面前流过,一去不复返。
而和迭代器又不同的是,Stream 可以并行化操作,迭代器只能命令式地、串行化操作。顾名思义,当使用串行方式去遍历时,每个 item 读完后再读下一个 item。而使用并行去遍历时,数据会被分成多个段,其中每一个都在不同的线程中处理,然后将结果一起输出。Stream 的并行操作依赖于 Java7 中引入的 Fork/Join 框架(JSR166y)来拆分任务和加速处理过程。
Stream 的另外一大特点是,数据源本身可以是无限的。
2. 流的构成
获取一个数据源(source)→ 数据转换→执行操作获取想要的结果。每次转换原有 Stream 对象不改变,返回一个新的 Stream 对象(可以有多次转换),这就允许对其操作可以像链条一样排列,变成一个管道。
有多种方式生成 Stream Source:
- 从 Collection 和数组
Collection.stream()
Collection.parallelStream()
Arrays.stream(T array) or Stream.of() - 从 BufferedReader
java.io.BufferedReader.lines() - 静态工厂
java.util.stream.IntStream.range()
java.nio.file.Files.walk() - 自己构建
java.util.Spliterator - 其它
Random.ints()
BitSet.stream()
Pattern.splitAsStream(java.lang.CharSequence)
JarFile.stream()
3.流的操作类型
- Intermediate:一个流可以后面跟随零个或多个 intermediate 操作。其目的主要是打开流,做出某种程度的数据映射/过滤,然后返回一个新的流,交给下一个操作使用。这类操作都是惰性化的(lazy),就是说,仅仅调用到这类方法,并没有真正开始流的遍历。
- Terminal:一个流只能有一个 terminal 操作,当这个操作执行后,流就被使用“光”了,无法再被操作。所以这必定是流的最后一个操作。Terminal 操作的执行,才会真正开始流的遍历,并且会生成一个结果,或者一个 side effect。
在对于一个 Stream 进行多次转换操作 (Intermediate 操作),每次都对 Stream 的每个元素进行转换,而且是执行多次,这样时间复杂度就是 N(转换次数)个 for 循环里把所有操作都做掉的总和吗?其实不是这样的,转换操作都是 lazy 的,多个转换操作只会在 Terminal 操作的时候融合起来,一次循环完成。我们可以这样简单的理解,Stream 里有个操作函数的集合,每次转换操作就是把转换函数放入这个集合中,在 Terminal 操作的时候循环 Stream 对应的集合,然后对每个元素执行所有的函数。
还有一种操作被称为 short-circuiting。用以指:
对于一个 intermediate 操作,如果它接受的是一个无限大(infinite/unbounded)的 Stream,但返回一个有限的新 Stream。
对于一个 terminal 操作,如果它接受的是一个无限大的 Stream,但能在有限的时间计算出结果。
当操作一个无限大的 Stream,而又希望在有限时间内完成操作,则在管道内拥有一个 short-circuiting 操作是必要的。
stream使用
1. 流的构造与转换
最常使用到的就是集合作为流的source。
Stream stream;
//由单独的值构成
Stream<String> strStream = Stream.of("one", "two", "three", "four");
//由数组构成
String [] strArray = new String[] {"a", "bb", "c"};
stream = Stream.of(strArray);
stream = Arrays.stream(strArray);
//由集合构成,最常用了
List<String> list = Arrays.asList(strArray);
stream = list.stream();
//对于基本数值型,目前有三种对应的包装类型的Stream:IntStream、LongStream、DoubleStream
IntStream.of(new int[]{1, 2, 3}).forEach(System.out::println);
IntStream.range(1, 3).forEach(System.out::println);
IntStream.rangeClosed(1, 3).forEach(System.out::println);
进阶:还可以自己构造流
- Stream.generate
Stream.generate通过实现 Supplier 接口,你可以自己来控制流的生成。这种情形通常用于随机数、常量的 Stream,或者需要前后元素间维持着某种状态信息的 Stream。由于它是无限的,在管道中,必须利用 limit 之类的操作限制 Stream 大小。
//生成100以内的15个随机整数,用来构造测试随机数不失为一种简便的方式
Stream.generate(() -> new Random().nextInt(100)).limit(15).forEach(System.out::println);
//Another way
IntStream.generate(() -> (int) (System.nanoTime() % 100)).
limit(15).forEach(System.out::println);
//random其实提供了更方便的ints()方法
new Random().ints().limit(15).forEach(System.out::println);
Stream.generate() 还接受自己实现的 Supplier。例如在构造海量测试数据的时候,用某种自动的规则给每一个变量赋值,用来构造测试数据很方便!
@Test
public void testSupplier(){
Stream.generate(new PersonSupplier()).
limit(10).
forEach(p -> System.out.println(p.getName() + ", " + p.getAge() + ", " + p.getHeight()));
}
private class PersonSupplier implements Supplier<PersonDto> {
private int index = 0;
private Random random = new Random();
@Override
public PersonDto get() {
return new PersonDto( "xiao" + index, index++, random.nextInt(190));
}
}
- Stream.iterate
iterate 跟 reduce 操作很像,接受一个种子值,和一个 UnaryOperator(例如 f)。然后种子值成为 Stream 的第一个元素,f(seed) 为第二个,f(f(seed)) 第三个,以此类推。在 iterate 时候管道必须有 limit 这样的操作来限制 Stream 大小。
Stream.iterate(0, n -> n + 3).limit(10). forEach(x -> System.out.print(x + " "));.
2. 流的操作
流可以转换为数组、集合等
Stream<String> stream = Stream.of("one", "two", "three", "four");
// 1. 转换为数组
String[] strArray1 = stream.toArray(String[]::new);
// 2. 转换为集合
List<String> list1 = stream.collect(Collectors.toList());
List<String> list2 = stream.collect(Collectors.toCollection(ArrayList::new));
Set set1 = stream.collect(Collectors.toSet());
Stack stack1 = stream.collect(Collectors.toCollection(Stack::new));
// 3. 转为String
String str = stream.collect(Collectors.joining(",")).toString();
@Data
@Accessors(chain = true)
public class OriginalDto {
private String id;
private String regionId;
private LocalDateTime deviceTime;
private Double noiseValue;
private Double noiseStatus;
}
List<OriginalDto> originalDtoList = new ArrayList<>(10);
//获取originalDtoList中所有id的集合
List<String> originalDtoIdList = originalDtoList.stream().map(OriginalDto::getId).collect(Collectors.toList());
//根据originalDtoList的deviceTime进行分组
Map<LocalDateTime, List<OriginalDto>> dateTimeListMap= originalDtoList.stream().collect(Collectors.groupingBy(OriginalDto::getDeviceTime));
//求每个deviceTime分组对应的noiseValue的和
Map<LocalDateTime, Double> doubleMap = originalDtoList.stream().collect(
Collectors.groupingBy(OriginalDto::getDeviceTime, Collectors.summingDouble(OriginalDto::getNoiseValue)));
//获取originalDtoList中所有噪音值的平均值,此时mapToDouble转换为Double流,也可以求和,最大值,最小值,去重,排序,计数等
OptionalDouble avgNoiseOptional = originalDtoList.stream().mapToDouble(OriginalDto::getNoiseValue).average();
//对originalDtoList中元素按照deviceTime进行排序
originalDtoList = originalDtoList.stream().sorted(Comparator.comparing(OriginalDto::getDeviceTime)).collect(Collectors.toList());
//从idList到dayDataDto集合
List<DayDataDto> dayDataList = originalDtoIdList.stream().map(id -> {
DayDataDto dayDataDto = new DayDataDto();
dayDataDto.setId(id);
dayDataDto.setDate(LocalDate.now());
return dayDataDto;
}).collect(Collectors.toList());
//满足noiseStatus=0的regionId前3个的集合
List<String> regionId = originalDtoList.stream().filter(originalDto -> originalDto.getNoiseStatus() == 0)
.map(OriginalDto::getRegionId).limit(3).collect(Collectors.toList());
`
在idea中如何调试stream
stream方便了我们的开发,但是在调试时却十分不友好,幸好在idea2018之后的版本中,我们也可以查看调试stream各元素的变化。
点击上图中红框所示按钮即可进入stream,查看各元素变化,如下图查看各元素排序情况:
而且idea中还支持调试时在当前上下文中执行表达式,这个调试时炒鸡炒鸡方便,如
总结
- 本文没有介绍stream的理论知识,只对编码开发中经常使用到的集合操作stream进行了总结介绍,方便进一步提高开发效率;
- stream存在流内部出现bug调试不便,和后期维护性差的缺点,所以不建议在stream内写太复杂的业务逻辑,要保持代码的逻辑清晰性和添加必要的注释。