2018年3月24日
Spark 大数据文本统计
摘要： 此程序功能： １．完成对10.４G.csv文件各个元素频率的统计 ２．获得最大的统计个数 ３．对获取到的统计个数进行降序排列 ４．对各个元素出现次数频率的统计 数据内容： Spark 保存的文件是这样的： 这里可以用一个脚本将这么多的文件进行合并： 结果太多只写一个： 获取统计的最大数2948874 阅读全文
posted @ 2018-03-24 20:20 soyosuyang 阅读(1449) 评论(0) 推荐(0) 编辑