2020年11月12日
Yarn ------->资源调度框架
摘要： Yarn产生的背景 Yarn的架构 Yarn的执行流程图 Yarn的环境搭建 1. Yarn产生背景： Yarn脱胎于MRv1(MapRedce1.x)，目的是为了解决MRv1的缺陷 MRv1的缺陷： 可靠性差 扩展性差 资源利用率低 无法支持异构的计算框架 2. Yarn的架构 Yarn的全称(Y 阅读全文
posted @ 2020-11-12 17:43 大可耐啊 阅读(185) 评论(0) 推荐(0) 编辑
MR框架-->Word4
摘要： 用户流量排序 实现编码： FlowBean类：把上行流量和下行流量以及总流量封装到一个bean中进行描述，注意要实现hadoop的序列化接口Writable package com.hp.mr; import java.io.DataInput; import java.io.DataOutput; 阅读全文
posted @ 2020-11-12 16:54 大可耐啊 阅读(110) 评论(0) 推荐(0) 编辑