2021年3月29日
spark分区计算方式
摘要： 1.默认分区 setMaster("local")：采用的是默认值，核数1 setMaster("local[*]")：最大分区数与物理机cpu核数相同，最小值为2，具体分区数量需要计算 2.从不同位置创建rdd，分区数量 -从集合中创建rdd 取决于分配给应用的cpu核数 -从外部文件中创建rdd 阅读全文
posted @ 2021-03-29 19:29 酷酷的狐狸 阅读(593) 评论(0) 推荐(0) 编辑