Fork me on GitHub
2020年8月14日
pyspark之常用算子
摘要： rdd=sc.paralelize([1,2,3,4,5]) #查看分区数 rdd.getNumPartitions()输出：4 #数据按照分区形式打印 rd.glom().collect()输出：[[1],[2],[3],[4,5]] 1、map和flatMap 2、reduce、fold、agg 阅读全文
posted @ 2020-08-14 21:23 西西嘛呦 阅读(893) 评论(0) 推荐(0) 编辑