四、spark常用函数说明学习

1、parallelize
      并行集合，切片数。默认为这个程序所分配到的资源的cpu核的个数。
      查看大小：rdd.partitions.size
     sc.paralielize(1 to 100,2)
 
2、rdd持久化
  persist()
   cache()

posted on 2016-08-02 22:15  小丑鱼快跑  阅读(293)  评论(0)  编辑  收藏  举报

导航