hadoop中联结不同来源数据
装载自http://www.cnblogs.com/dandingyy/archive/2013/03/01/2938462.html
有时可能需要对来自不同源的数据进行综合分析:
如下例子:
有Customers文件,每个记录3个域:Custom ID, Name, Phone Number
Customers Orders
1,Stephanie Leung,555-555-5555 3,A,12.95,02-Jun-2008
2,Edward Kim,123-456-7890 1,B,88.25,20-May-2008
3,Jose Madriz,281-330-8004 2,C,32.00,30-Nov-2007
4,David Stork,408-555-0000 3,D,25.02,22-Jan-2009
1.Reduce侧的联结
Hadoop中名为datajoin得contrib软件包,用作数据联结的通用框架。处理多被放在reducer侧,故称为Reduce侧的联结。
术语:数据源——即表,Customers,和 Orders
标签(tag)——标记数据源
组键(group key)——即两个表得链接键,本例子中为custom ID
分析该流程图可以看到,每个map处理不同的源,并且map()阶段的工作就是对每条记录进行打包——即设置其tag,Group key 和内容;
对于数据的联结,map()输出一个记录包,采用组键作为联结键。值为原始记录,并且值由文件名tag标记;
map()封装了输入后,就进行MapReduce标准的分区、洗牌和排序操作。最终相同联结键的记录会被送到同一个reducer上;
reducer接受上面的输入数据后,进行完全交叉乘积,reduce生成所有值的合并结果(这个部分由reduce 自己完成,程序员不用处理)。规定一个合并中每个值最多标记一次(即只有一个标签)。如组健1,2,4所示,组健3如下:
交叉乘积结果送入combine()中(这里的combine()与前面的Combiner不同),combine决定了操作时内联结、外联结、还是其他方式的联结。
内联结丢弃未含全部tag的结果(如4)。然后合并剩余记录。
整个过程结束,这就是 重分区排序-合并联结。
- 使用DATAJOIN软件包联结
Hadoop的datajoin软件包提供了3个供继承的抽象类:DataJoinMapperBase,DataJoinReducerBase和TaggedMapOut类
所以MapperClass实现DataJoinMapperBase类;Reducer实现DataJoinReducerBase类。map()和reduce()方法已经由datajoin软件包提供了,我们的子类只需实现几种配置详细信息的方法
datajoin指定键为Text型,而值为新的抽象数据类型TaggedMapOutput。
TaggedMapOutput是一种用Text标签封装记录的数据类型。实现了getTag()和setTag(Text tag)方法。
我们要自己实现抽象方法getData(),有时还需实现setData()方法,将记录传入,也可以从构造函数中传入。
另外,作为值,TaggedMapOutput须为Writable型,所以要实现readFields() write()方法。
对于data join的mapper需要继承自DataJoinMapperBase,并且该mapper需要实现三个方法:
以下为《hadoop in action》示例,注意在eclipse下使用datajoin须添加hadoop-datajoin-0.20.203.0.jar包到工程的Library中
jar包位于/hadoop/contrib/datajoin/下,添加到 工程/propertites/java build path/Library/add extra jar.
另外新的API已经不再使用mapper,reducer接口,而Datajoin中DataJoinMapperBase,DataJoinReducerBase都是实现前两个的接口,所以job.setMapperClass会出错。只能使用旧的jobconf.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
|
public class DataJoin extends Configured implements Tool{ //TaggedMapOutput是一个抽象数据类型,封装了标签与记录内容 //此处作为DataJoinMapperBase的输出值类型,需要实现Writable接口,所以要实现两个序列化方法 public static class TaggedWritable extends TaggedMapOutput { private Writable data; public TaggedWritable(Writable data) //构造函数 { this .tag = new Text(); //tag可以通过setTag()方法进行设置 this .data = data; } @Override public void readFields(DataInput in) throws IOException { tag.readFields(in); data.readFields(in); } @Override public void write(DataOutput out) throws IOException { tag.write(out); data.write(out); } @Override public Writable getData() { return data; } } //mapper的主要功能是封装一个记录,实现如下三个方法达到次目的 public static class JoinMapper extends DataJoinMapperBase { //这个在任务开始时调用,用于产生标签 //此处就直接以文件名作为标签 @Override protected Text generateInputTag(String inputFile) { return new Text(inputFile); } //这里我们已经确定分割符为',',更普遍的,用户应能自己指定分割符和组键。 @Override protected Text generateGroupKey(TaggedMapOutput record) { String line = ((Text)record.getData()).toString(); String[] tokens = line.split( "," ); return new Text(tokens[ 0 ]); } @Override protected TaggedMapOutput generateTaggedMapOutput(Object value) { TaggedWritable retv = new TaggedWritable((Text) value); retv.setTag( this .inputTag); //不要忘记设定当前键值的标签 return retv; } } //DataJoinReducerBase是DataJoin软件包的核心,它执行了一个完整的外部联结。 //我们的子类只是实现combine方法用来筛选掉不需要的组合,获得所需的联结操作(内联结,左联结等)。并且 //将结果化为合适输出格式(如:字段排列,去重等) public static class JoinReducer extends DataJoinReducerBase { //两个参数数组大小一定相同,并且最多等于数据源个数 @Override protected TaggedMapOutput combine(Object[] tags, Object[] values) { if (tags.length < 2 ) return null ; //这一步,实现内联结 String joinedStr = "" ; for ( int i = 0 ; i < values.length; i++) { if (i > 0 ) joinedStr += "," ; //以逗号作为原两个数据源记录链接的分割符 TaggedWritable tw = (TaggedWritable)values[i]; String line = ((Text)tw.getData()).toString(); String[] tokens = line.split( "," , 2 ); //将一条记录划分两组,去掉第一组的组键名。 joinedStr += tokens[ 1 ]; } TaggedWritable retv = new TaggedWritable( new Text(joinedStr)); retv.setTag((Text)tags[ 0 ]); //这只retv的组键,作为最终输出键。 return retv; } |
2.基于DistributedCathe的复制连结
reduce侧连结效率较低,因为map阶段重排了以后可能会丢弃的数据。如果能在map阶段执行连结速度会有较高效率,但是map阶段键不统一,不知道当前记录该与哪个记录连结。
对于特定的数据模式:一个数据源较小,另一个很大的情况,可以将小的复制到所有mapper上,实现map阶段连结。(这种数据成为“背景”数据,由hadoop分布式缓存分发)。
管理分布式缓存的类为:DistributedCathe;采取如下两个步骤使用该类:
使用静态方法DistributedCache.addCatheFile()设定传播到所有节点的文件;
使用静态方法DistributedCache.getLocalCatheFiles()获取本地副本路径;
在使用DistributedCache还会出现一种情况:背景数据在本地系统中,这时
一种方法是添加代码,在addCacheFile()前将本地文件上传到HDFS中;
另一种方法是使用GenericOptionsParser,直接通过这种命令行参数来支持,选项为-files,后面文件以','分隔
hadoop jar DataJoin.jar -files fileA.txt,fileB.txt input.txt output
此时无须自己调用addCacheFile(),在改变一下程序中参数索引即可。
3.半连接:map侧过滤reduce侧连结
要寻找特定键(如ID为415的记录)的所有记录时,可以现在customs中找出所有ID为415的顾客,组成custom415临时文件,然后连结custom415与orders即可;
如果custom415还是太大,可以先把提取出目标键(此例中为415)记录在customID415临时文件中,map阶段会丢弃所有键不再customID415中的记录,最后于orders连结;
如果还是太大,就需要使用Bloom filter数据结构。
posted on 2015-12-01 10:44 1130136248 阅读(414) 评论(0) 编辑 收藏 举报