MapReduce 实验

今天完成了MapReduce实验，参照这篇博主的文章，实验5 MapReduce初级编程实践（1）——编程实现文件合并和去重操作_mapreduce z.q.feng csdn-CSDN博客

出现的错误是，jar包未打包成功，一定要去java代码目录下面看看有没有成工打包好jar包，不成功在目录下对执行几遍，还有就是文件的路径不一样，其实我现在发现，只要你自己在实验过程中

保持相同的目录不便，其实可以不用照着作者的目录来，一定记得目录不要找错了不然到时候很容易找不到你的jar包在哪里，也不知道运行的结果在哪里

最后就是博主的java代码里面的："hdfs://localhost:9000");这个端口，如果你是黑马教程的hadoop的话改成"hdfs://node1:8020");这样就行了其余的不做修改。

进行排序的实验：实验5 MapReduce初级编程实践（2）——编写程序实现对输入文件的排序_编写程序实现对输入文件的排序** 现在有多个输入文件,每个文件中的每行内容均为一-CSDN博客

也是参照这位博主，我只想说泰裤辣嘻嘻。

第三个实验：实验5 MapReduce初级编程实践（3）——对给定的表格进行信息挖掘-CSDN博客

遇到的问题：首先这三个实验下来总结了一个步骤，

建立文件  -》  写java代码  -》给权限    -》 打包成jar包  -》  上传文件（前面上传过的话要删除input里面的文件）-》 删除output整个文件夹 -》运行

有两个住的注意的是，上传的文件要放在input文件夹里面，命令后面千万别忘记input 

 要删除整个output文件夹，具体大家可以在web界面看

 我就是没看清文件位置导致上传错了，每次返回的output都为空。

注意一定要把那个文件传到哪里弄清楚，不然就会像我一样，把删除上传文件执行n遍（删除input里面文件的命令），下次上传的时候还显示文件已存在（少加了input的上传），这两个命令都不在同一个维度里我还在疯狂疑问，型号有个web界面可以查看，更加直观一点，总结下来还是要理清思路不然就根本不知道错哪里。最后一个问题是：第一次执行的时候，我其实并没有犯上面的错，但是执行出来的结果只有

 

 

 

原因后来找到是因为，child-parent文件里面每一行只允许有一个空格，但是我的文件里面空格太多，后来修改了就成功了。

最后，在敲代码的时候一定边想边敲，不然就会像我一样，上传位置出错，还找半天，估计是前面两个实验无脑敲成功了太顺利了，不过虽然花费时间找错但是好在问题得到解决并且还更加理解了，希望大家不要犯这样粗心的错误ooo。