2019年11月22日
spark 累加器
摘要： spark累加器：作用是在task计算的时候统计某些事件的数量。 注意：累加器变量只能执行加法操作；但其支持并行操作，意味着不同任务多次对累加器执行加法操作后，加法器最后的值等于所有累加的和；只能driver驱动程序读取到累加器的值，task端只能进行累加操作，无法访问该值。 Spark内置了三种类 阅读全文
posted @ 2019-11-22 15:30 糖醋排骨加辣椒 阅读(445) 评论(0) 推荐(0) 编辑