2015年11月1日
摘要: package org.lukey.hadoop.muloutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor... 阅读全文
posted @ 2015-11-01 23:09 IT小不点 阅读(257) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/chaoping315/article/details/6221440在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理,再进行reduce,经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理,这样的Job... 阅读全文
posted @ 2015-11-01 23:06 IT小不点 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 版本:CDH5.0.0,HDFS:2.3.0,Mapreduce:2.3.0,Yarn:2.3.0。场景描述:求一组数据中按照不同类别的最大值,比如,如下的数据:data1:[plain]view plaincopyA,10A,11A,12A,13B,21B,31B,41B,51data2:[pla... 阅读全文
posted @ 2015-11-01 20:46 IT小不点 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 原文地址:http://mntms.iteye.com/blog/2095651hadoopeclipse远程控制权限情景一:当在win7下面的eclipse装好插件,首次运行M/R程序的时候,想把文件从win7下面的本地文件传到HDFS文件系统上面:(点击Upload files to DFS 或... 阅读全文
posted @ 2015-11-01 17:42 IT小不点 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 原文地址:http://mntms.iteye.com/blog/2086990要处理复杂关系的数据,一个工程里面绝对不止一个MapReduce作业,当有多个MapReduce作业时, 并且每个作业之间有依赖关系,所谓的依赖就是一个作业得到的结果是另外一个作业的输入,这个时候我们可 以使用... 阅读全文
posted @ 2015-11-01 17:37 IT小不点 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 多个mapreduce工作相互依赖处理方法完整实例(JobControl) 原文地址:http://mntms.iteye.com/blog/2096456?utm_source=tuicool&utm_medium=referral 处理复杂的要求的时候,有时一个mapreduce程序时完成不了的 阅读全文
posted @ 2015-11-01 17:34 IT小不点 阅读(518) 评论(0) 推荐(0) 编辑
摘要: MultipleOutputFormat和MultipleOutputshttp://www.cnblogs.com/liangzh/archive/2012/05/22/2512264.html一,介绍1,旧API中有 org.apache.hadoop.mapred.lib.MultipleOu... 阅读全文
posted @ 2015-11-01 11:54 IT小不点 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 原文 http://blog.csdn.net/dayanxuqun/article/details/26348277 以下是map遍历的四种方式: [java] view plaincopyprint? // 一、推荐只用value的时候用,都懂的。。。 // Map.values()遍历所有的v 阅读全文
posted @ 2015-11-01 11:52 IT小不点 阅读(459) 评论(0) 推荐(0) 编辑