wubinghuan

摘要： 在spark中，map与mapPartitions两个函数都是比较常用，这里使用代码来解释一下两者区别 两个函数最终处理得到的结果是一样的 mapPartitions比较适合需要分批处理数据的情况，比如将数据插入某个表，每批数据只需要开启一次数据库连接，大大减少了连接开支，伪代码如下： 阅读全文

摘要： 作为spark初学者对，一直对map与flatMap两个函数比较难以理解，这几天看了和写了不少例子，终于把它们搞清楚了 两者的区别主要在于action后得到的值 例子： 上述代码中，打印结果1、2、3分别如下面三图 打印结果1 打印结果2 打印结果3 对比结果2与结果3，很容易得出结论： map函数 阅读全文