百里登风

导航

2017年8月25日

hadoop YARN

摘要： YARN产生的背景 回顾mapreduce1.0(以下是对应的框架) JobTracker同事负责资源的管理和调度和作业的管理和调度 mapreduce1.0的缺点 1.扩展性差 2.另外一个缺点就是单点故障 3.资源利用率低 4.通用性差 什么是yarn YARN在hadoop生态圈系统中的位置 阅读全文

posted @ 2017-08-25 21:51 百里登峰 阅读(214) 评论(0) 推荐(0) 编辑

spark 存储管理机制

摘要： 累加器 -- Accumulators 广播变量--Broadcast Variables 思考 回顾 存储管理模块架构--从架构上来看 存储管理模块架构--通信层 存储管理模块架构--存储层 存储管理模块架构--数据块与分区的关系 回顾-RDD控制操作 持久化级别 如何选择持久化级别 缓存淘汰机制 阅读全文

posted @ 2017-08-25 17:34 百里登峰 阅读(253) 评论(0) 推荐(0) 编辑