03 2022 档案

4.RDD操作
摘要：一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD 启动hdfs 上传、查看文件 加载 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 1、filter(func)显式定义函数 lambda函 阅读全文
posted @ 2022-03-21 20:40 吕浩洵 阅读(48) 评论(0) 推荐(0) 编辑
3.Spark设计与运行原理，基本操作
摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 组件介绍 1 . Spark Core： Spark的核心组件，其操作的数据对象是RDD（弹性分布式数据集），图中在Spark Core上面的四个组件都依赖于Spark Core，可以 阅读全文
posted @ 2022-03-13 21:44 吕浩洵 阅读(64) 评论(0) 推荐(0) 编辑
2.安装Spark与Python练习
摘要：一、安装Spark 1、检查基础环境hadoop,jdk 2、下载spark （省略，原来已下好） 3、解压，文件夹重命名、权限 （省略，原来已下好） 4、配置文件 5、环境变量 6、试运行Python代码 试运行spaark python命令测试 二、Python编程练习：英文文本的词频统计 1、 阅读全文
posted @ 2022-03-06 19:15 吕浩洵 阅读(37) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示