2017年9月13日
Spark ---RDD
摘要： RDD的弹性表现: 1、弹性之一：自动的进行内存和磁盘数据存储的切换； 2、弹性之二：基于Lineage的高效容错（第n个节点出错，会从第n-1个节点恢复，血统容错）； Lineage由spark的依赖关系确定。3、弹性之三：Task如果失败会自动进行特定次数的重试（默认4次）； 4、弹性之四：St 阅读全文
posted @ 2017-09-13 17:24 Mr.Ming2 阅读(443) 评论(0) 推荐(0) 编辑
Running Spark on YARN
摘要： Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的，后续的版本也一直持续在改进。 Launching Spark on YARN 确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群的（ 阅读全文
posted @ 2017-09-13 15:27 Mr.Ming2 阅读(370) 评论(0) 推荐(0) 编辑