摘要: 参考文献:http://www.hadooper.cn/dct/page/657771排序实例排序实例仅仅用 map/reduce框架来把输入目录排序放到输出目录。输入和输出必须是顺序文件,键和值是BytesWritable.mapper是预先定义的IdentityMapper,reducer 是预先定义的 IdentityReducer, 两个都是把输入直接的输出。要运行这个例 子:bin/hadoop jar hadoop-*-examples.jar sort [-m <#maps>] [-r <#reduces>] <in-dir> <out- 阅读全文
posted @ 2011-10-17 14:04 xwdreamer 阅读(6246) 评论(0) 推荐(0) 编辑
摘要: 参考文献:http://www.hadooper.cn/dct/page/657781.概述RandomWriter(随机写)例子利用 Map/Reduce把 数据随机的写到dfs中。每个map输入单个文件名,然后随机写BytesWritable的键和值到DFS顺序文件。map没有产生任何输出,所以reduce没有执行。产生的数据是可以配置的。配置变量如下名字默认值描述test.randomwriter.maps_per_host10每个节点运行的map任务数test.randomwrite.bytes_per_map1073741824每个map任务产生的数据量test.randomwrit 阅读全文
posted @ 2011-10-17 13:44 xwdreamer 阅读(1225) 评论(1) 推荐(0) 编辑