2020年3月30日
Spark共享变量---累加器（及transformation和action回顾）
摘要： 一：累加器简介 （一）累加器用途 在spark应用程序中，我们经常会有这样的需求，如异常监控，调试，记录符合某特性的数据的数目，这种需求都需要用到计数器， 如果一个变量不被声明为一个累加器，那么它将在被改变时不会再driver端进行全局汇总， 即在分布式运行时每个task运行的只是原始变量的一个副本 阅读全文
posted @ 2020-03-30 17:39 山上有风景 阅读(1323) 评论(0) 推荐(0) 编辑