今天只完成了第四个实验的第2题,这也是一下午的结果,今天一下午彻底自闭了,程序总是出错,并且错误还一直解决不了。今天效率低的原因是一直报数组越界的错误,可是怎么看数据文件都没有错误。最后的最后,也就是刚才,无奈之下将文件重新写了一遍,这样结果才终于对了。
第二题实验内容:
2.编写独立应用程序实现数据去重
对于两个输入文件 A 和 B,编写 Spark 独立应用程序,对两个文件进行合并,并剔除其
中重复的内容,得到一个新文件 C。下面是输入文件和输出文件的一个样例,供参考。
输入文件 A 的样例如下:
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件 B 的样例如下:
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下:
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z
源代码:
![](https://img2018.cnblogs.com/i-beta/1277938/202002/1277938-20200205174053649-193120454.png)
自我抑郁又自我救赎