摘要: 首先编写WordCount.java源文件,分别通过map和reduce方法统计文本中每个单词出现的次数,然后按照字母的顺序排列输出, Map过程首先是多个map并行提取多个句子里面的单词然后分别列出来每个单词,出现次数为1,全部列举出来 Reduce过程首先将相同key的数据进行查找分组然后合并, 阅读全文
posted @ 2016-01-22 15:29 小得盈满 阅读(2286) 评论(0) 推荐(0) 编辑
摘要: Hadoop环境搭建成功后,一般会运行一个小例子,这时候就涉及到了对HDFS文件系统的操作,对于刚开始学习Hadoop的初学者一般会多次的进行name节点的格式化操作,最后导致上传文件会抛出异常,通过jps命令查看会发现除了DataNode进程外其他进程都在正常运行,所以格式化只能进行一次,后续的集 阅读全文
posted @ 2016-01-22 14:17 小得盈满 阅读(745) 评论(0) 推荐(0) 编辑