摘要: 一、需求分析 1、需求 order.txt id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd.txt pid pname 01 小米 02 华为 03 格力 两张表合并成order.txt中的pi 阅读全文
posted @ 2020-09-08 23:52 市丸银 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 一、Map端的主要工作 为来自不同表或文件的key/value对,打标签以区别不同来源的记录。 然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。 二、Reduce端的主要工作 在Reduce端以连接字段作为key的分组已经完成, 我们只需要在每一个分组当中将那些来源于不同 阅读全文
posted @ 2020-09-08 22:07 市丸银 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 一、需求分析 1、内容 http://www.baidu.com http://www.google.com http://cn.bing.com http://www.atguigu.com http://www.sohu.com http://www.sina.com http://www.si 阅读全文
posted @ 2020-09-08 20:55 市丸银 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 一、基础知识 OutputFormat是MapReduce输出的基类,所有实现MapReduce输出都实现了OutputFormat接口 二、常见的OutputFormat实现类 1、TextOutputFormat 默认的输出格式是TextOutputFormat,它把每条记录写在文本行。 它的键 阅读全文
posted @ 2020-09-08 12:57 市丸银 阅读(377) 评论(0) 推荐(0) 编辑
摘要: 一、MapTask工作机制 二、Reduce Task 阅读全文
posted @ 2020-09-08 00:05 市丸银 阅读(211) 评论(0) 推荐(0) 编辑