Spark的广播变量模块

有人问我,如果让我设计广播变量该怎么设计,我想了想说,为啥不用zookeeper呢? 对啊,为啥不用zookeeper,也许spark的最初设计哲学就是尽量不使用别的组件,他有自己分布式内存文件系统,有自己的任务调度(standalone),有自己的sql解析。好吧这也是我喜欢他的地方,一栈式解决方案。

posted @ 2015-09-14 11:31  高兴的博客  阅读(277)  评论(0编辑  收藏  举报