RDD操作
摘要：一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD exit（）退出上一步后启动hdfs上传文件且查看文件 进入spark加载刚刚传入hdfs的文件 不使用HDFS了，记得停止hdfs 3.通过并行集合（列表）创建RDD 输入列表字符串numpy生成数组 二、
阅读全文
posted @
2022-03-28 23:00
云往前面飘
阅读(31)
推荐(0) 编辑
3.Spark设计与运行原理，基本操作
摘要：一.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件，这些组件可以非常容易地把各种处理流程整合在一起，而这样的整合，在实际的数据分
阅读全文
posted @
2022-03-13 19:58
云往前面飘
阅读(62)
推荐(0) 编辑
安装Spark与Python练习
摘要：一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限（已安装没有图） 配置文件（已安装没有图） 环境变量（已安装没有图） 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 思想 准备文本文件 读文件 预处理：大小写，标点符号，停用词
阅读全文
posted @
2022-03-03 23:13
云往前面飘
阅读(38)
推荐(0) 编辑
