2020年2月28日
spark广播变量定时更新
摘要： 广播变量 先来简单介绍下spark中的广播变量： 广播变量允许开发者缓存一个只读的变量在每台机器上面，而不是每个任务保存一份拷贝。例如，利用广播变量，我们能够以一种更有效率的方式将一个大数据量输入集合的副本分配给每个节点。Spark也尝试着利用有效的广播算法去分配广播变量，以减少通信的成本。 一个广 阅读全文
posted @ 2020-02-28 14:19 sw_kong 阅读(2898) 评论(0) 推荐(0) 编辑