摘要:
引言 首先先明白在关系型数据库中Join的用法。 Join在MapReduce中的用法也是用于两个文件之间的连接。 使用MR程序解决两张表的join问题,有两种解决方案 à MR程序的join应用 1. reduce端join 在map端将数据封装成Java对象 à 两张表的复合Java对象 在re 阅读全文
摘要:
OutputFormat概述 OutputFormat主要是用来指定MR程序的最终的输出数据格式 。 默认使用的是TextOutputFormat,默认是将数据一行写一条数据,并且把数据放到指定的输出目录下,以 part-r-xxxxx数字开头。并且默认情况下有几个ReduceTask就有几个结果文 阅读全文