2021年1月17日
Spark实验编写独立应用程序实现数据去重
摘要： 2. 编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 阅读全文
posted @ 2021-01-17 02:19 ziyuliu 阅读(4942) 评论(0) 推荐(0) 编辑