03 2022 档案

4.RDD操作
摘要：一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func) 传入lambda匿名函数 显示定义函数 map( 阅读全文
posted @ 2022-03-26 23:53 azell 阅读(8) 评论(0) 推荐(0) 编辑
3.Spark设计与运行原理，基本操作
摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Res 阅读全文
posted @ 2022-03-12 21:36 azell 阅读(25) 评论(0) 推荐(0) 编辑
2.安装Spark与Python练习
摘要：一、安装Spark 检查基础环境hadoop，jdk 配置文件 启动spark 二、Python编程练习：英文文本的词频统计 准备文本文件（txt） txt = open("text.txt", "r",encoding='UTF-8').read() txt = txt.lower() for c 阅读全文
posted @ 2022-03-04 16:49 azell 阅读(34) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示