摘要：
1.一个标准 MR-Job 的执行入口：//参数 true 表示检查并打印 Job 和 Task 的运行状况System.exit(job.waitForCompletion(true) ? 0 : 1);2.job.waitForCompletion(true)方法的内部实现：//job.wait... 阅读全文
摘要：
问题描述：两种类型输入文件：address(地址)和company(公司)进行一对多的关联查询，得到地址名(例如：Beijing)与公司名(例如：Beijing JD、Beijing Red Star)的关联信息。可参考MR案例：Map-Join1.map阶段：对比之前的单表关联可知，reduce阶... 阅读全文
摘要：
1.map阶段：将单词和URI组成Key值（如“MapReduce :1.txt”），将词频作为value。 利用MR框架自带的Map端排序，将同一文档的相同单词的词频组成列表，传递给Combine过程，实现类似于WordCount的功能。Class Map{ method map(){ ... 阅读全文
摘要：
问题描述：现有一批cookie日志，按照日期进行存放，如目录 “dir/2015-08-08” 下存放2015-08-08这一天的所有cookie。而目录 “/2015-08-08/” 下又根据数据文件名称的不同存放不同项目的cookie，如 “project-flag-cookie” 文件中存放的... 阅读全文
摘要：
现有一学生成绩数据，格式如下： //。需求描述：查询成绩大于等于60分的学生数据，按学院分组，组内按成绩从小到大排序。使用SQL描述：Select * from table where grade >= 60 group by institute ... 阅读全文
摘要：
1）Distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。2）distcp命令是以MR作业(没有R任务)的形式实现的，把文件和目录的列表作为M任务的输入。每一个文件是由一个M任务来拷贝的，distcp尽量把大小之和相同的各个文件导入到同一个M任务中。这样可以每个M任务拷贝的数据量大致相... 阅读全文
摘要：
1.HDFS的Block块概念HDFS默认的Block块大小为128 MB。为何HDFS中的一个块那么大？HDFS的block块比磁盘的块大，目的是为了减小寻址开销。通过让一个块足够大，从磁盘转移数据的时间能够远远大于定位这个块开始端的时间。因此，传送一个由多个块组成的文件的时间就取决于磁盘传输送率... 阅读全文