5.RDD操作综合实例

1. 准备文件
2. 读文件创建RDD

    

    

3. 分词

    

    

4. 排除大小写lower()，map()

    

    

   
   标点符号re.split(pattern,str)，flatMap(),

    

    

   
   停用词,可网盘下载stopwords.txt,filter()，

    

    

    

    

    

    

   
   长度小于2的词filter()

    

    

    

5. 统计词频

    

    

6. 按词频排序

    

    

7. 输出到文件

    

    

8. 查看结果

   B. 一句话实现：文件入文件出

    

    

    

    

   二、求Top值