作业5
一、词频统计
A. 分步骤实现
1.准备文件
1.下载小说或长篇新闻稿
2.上传到hdfs上
2.读文件创建RDD
3.分词
4.排除大小写lower(),map()
标点符号re.split(pattern,str),flatMap(),
先输入import re
长度小于2的词filter()
筛选出不在停用表中的词:
统计词频
按词频排序
输出到文件
查看结果
二、求Top值
网盘下载payment.txt文件,通过RDD操作实现选出最大支付额的用户。