2.安装Spark与Python练习

------------恢复内容开始------------

一、安装Spark

  • 检查基础环境hadoop,jdk

  • 下载spark

  • 解压,文件夹重命名、权限

  • 配置文件

 

 

 

 

  • 环境变量

 

 

 

  • 试运行Python代码

 

 

 

 

 

 

 

二、Python编程练习:英文文本的词频统计

  • 准备文本文件

 

 

  • 读文件

  • 预处理:大小写,标点符号,停用词,分词

 

  • 按词频大小排序,统计每个单词出现的次数

 

 

 

 

 

 

 

 

------------恢复内容结束------------

posted @ 2022-03-03 17:16  xun_11  阅读(21)  评论(0编辑  收藏  举报