摘要: 项目介绍 给定一些单词,统计其中每一种单词的数量; 本项目将采用scala编程语言,编写两种单词统计代码,一种在本地运行,一种在spark集群上运行; 本文将完整地讲解代码含义和运行情况。 IDEA上运行 这个程序非常简单,如果是scala语言的初学者,也可以直接看: spark上运行 1、代码 2 阅读全文
posted @ 2018-07-06 15:18 umbrellalalalala 阅读(859) 评论(0) 推荐(0) 编辑
摘要: 网上已经有了很多成熟的教程,但是对于不懂MapReduce相关概念的新手理解起来均有些困难。 博主读了一天代码,终于将代码理解了,特此给大家分享 一、带详细注释的代码 二、测试情况(含测试文件分享) 这个是原始数据 这个是分析后的数据 阅读全文
posted @ 2018-07-06 15:16 umbrellalalalala 阅读(696) 评论(0) 推荐(0) 编辑