spark 中map 和 flatMap 的区别

代码如下:


scala> sc.parallelize(Array("a_b","c_d","e_f")).foreach(println)
a_b
c_d
e_f



scala> sc.parallelize(Array("a_b","c_d","e_f")).map(string=>{string.split("_")}).foreach(x=>{println(x.mkString(","))})
c,d
a,b
e,f

scala> sc.parallelize(Array("a_b","c_d","e_f")).flatMap(string=>{string.split("_")}).foreach(x=>{println(x.mkString(","))})
a
b
c
d
e
f

可以发现:flatMap = flatten + map,flatMap 会把数组里面的元素先压平,降到一维,再打碎。
而 map 只是把最外围的包裹打开。

posted @ 2020-08-25 17:30  水木青楓  阅读(569)  评论(0编辑  收藏  举报