摘要:
spark编程模型 spark如何工作的? 1、user应用产生RDD,操作变形,运行action操作 2、操作的结果在有向无环图DAG中 3、DAG被编译到stages阶段中 4、每一阶段作为任务的一部分被执行(一个task对应一个partition分块) narrow transformatio 阅读全文
摘要:
mapreduce的限制 适合“一趟”计算操作 很难组合和嵌套操作符号 无法表示迭代操作 由于复制、序列化和磁盘IO导致mapreduce慢 复杂的应用、流计算、内部查询都因为maprecude缺少有效的数据共享而变慢 迭代操作每一次复制都需要磁盘IO 内部查询和在线处理都需要磁盘IO spark的 阅读全文