map和FlatMap之间区别?


map和FlatMap之间区别?
这两者都是遍历RDD中数据,并对数据进行数据操作,并且会的到一个全新RDD

Map多用于计算或处理一些特殊数据类型,不能使用扁平化处理的数据类型

flatMap不仅可以对数据遍历处理,而且可以将存在RDD中集合中数据进行处理并且存储到一个新的集合中

所以两种的使用本质上没有区别,但flatMap比Map多出了对集合数据压平的作用

ps:一般情况下在Spark开发中较多使用flatMap,但是 flatMap不能使用所有的场景,所以也会使用map来进行处理数据

posted @ 2019-12-12 16:18  Y歪  阅读(3912)  评论(0编辑  收藏  举报