摘要：
数据去重这个实例主要是为了读者掌握并利用并行化思想对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入： f 阅读全文
摘要：
1.实例描述 通过一个计算学生平均成绩的例子来讲解开发MapReduce程序的流程。输入文件都是纯文本文件，输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。输出文件每行包含学生的姓名和平均成绩。下面给出样本输入文件，以及跑MapReduce程序过后的输出文 阅读全文