2.安装Spark与Python练习

一、安装Spark

1.检查基础环境hadoop,jdk

2.下载spark

3.解压,文件夹重命名、权限

4.配置文件

5.环境变量

6.试运行Python代码

二、Python编程练习:英文文本的词频统计

  1. 准备文本文件
  2. 读文件
  3. 预处理:大小写,标点符号,停用词
  4. 分词
  5. 统计每个单词出现的次数
  6. 按词频大小排序
  7. 结果写文件

 

 

 

 

 

posted @ 2022-03-02 15:27  牛冠府  阅读(14)  评论(0编辑  收藏  举报