2015年12月1日

mapreduce 依赖组合

摘要： mport java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa... 阅读全文

posted @ 2015-12-01 19:57 1130136248 阅读(299) 评论(0) 推荐(0) 编辑

mapreduce 顺序组合

摘要： import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.ap... 阅读全文

posted @ 2015-12-01 19:56 1130136248 阅读(150) 评论(0) 推荐(0) 编辑

Hadoop: LongWritable cannot be cast to org.apache.hadoop.io.IntWritable

摘要： 写MR Job的时候遇到一个坑爹的异常：LongWritable cannot be cast to org.apache.hadoop.io.IntWritable当写Map的时候，key的默认输入就是LongWritable。因为LongWritable指代Block中的数据偏移量。所以把它强行... 阅读全文

posted @ 2015-12-01 16:30 1130136248 阅读(1887) 评论(0) 推荐(0) 编辑

hadoop中联结不同来源数据

摘要： 装载自http://www.cnblogs.com/dandingyy/archive/2013/03/01/2938462.html有时可能需要对来自不同源的数据进行综合分析：如下例子：有Customers文件，每个记录3个域：Custom ID, Name, Phone Number Custo... 阅读全文

posted @ 2015-12-01 10:44 1130136248 阅读(414) 评论(0) 推荐(0) 编辑

导航