摘要：
一、概要 通常情况下，当向Spark操作传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。尽管如此，Spark提供了两种有限类型的共享变量，广播变量 阅读全文
摘要：
一、Spark核心概念-RDD RDD是弹性分布式数据集，一个RDD由多个partition构成，一个partition对应一个task。RDD的操作分为两种：Trasformation（把一个RDD转换为另外一个RDD），Action（通过RDD计算得带一个或一组值） 二、Spark组件 Driv 阅读全文