摘要: Hadoop为用户提供了五个可编程组件,分别是:InputFormat、Mapper、Parttioner、Reducer、OutputFromat。 还有一个组件叫做Canbiner,这个组件通常用于MR程序性能,其实不属于必备组件。 阅读全文
posted @ 2019-08-30 09:18 我是一名搬运工 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 1. 建立连接 : 判断是在本地运行还在集群中运行,会分别创建不同的运行对象Local和Yarn; 2. 提交 Job : 校验空间:checkSpace() 》缓存处理 》创建资源路径:Stag 路径 》 获取JobId,在Stag下创建Job路径 》拷贝相关资源到集群 》计算切片,生成切片规划文 阅读全文
posted @ 2019-08-30 09:11 我是一名搬运工 阅读(203) 评论(0) 推荐(0) 编辑