2.安装Spark与Python练习

一、安装Spark

1.检查基础环境hadoop,jdk

 

 

 运行pyspark命令

 

 

二、Python编程练习：英文文本的词频统计

1. 1. 准备文本文件
   2. 读文件
   3. 预处理：大小写，标点符号，停用词
   4. 分词
   5. 统计每个单词出现的次数
   6. 按词频大小排序
   7. 结果写文件