2018年8月3日

大数据生态圈中相关原理（1）

摘要： MapReduce 原理 客户端任务到jobTracker, jobTracker分发任务到map和reduce。 map从datasplit 中获取数据区，根据客户端的相关业务逻辑生成（K,V）对，数据先缓存到环形缓冲区，直到达到设定上限（默认为80%），然后会写入到磁盘上。写入磁盘之前，会进行分 阅读全文
posted @ 2018-08-03 21:24 叶子不要闹 阅读(215) 评论(0) 推荐(0) 编辑