08 2024 档案

03-RDD算子

摘要：1. 转换类算子 1.1 基本转换类算子 1、Map 新的RDD中的每个元素与旧的RDD的每个元素是一对一的关系。 object CH_0201_RDDAPI_Map { def main(args: Array[String]): Unit = { val conf: SparkConf = ne 阅读全文

posted @ 2024-08-21 21:19 脆皮老弟阅读(4) 评论(0) 推荐(0) 编辑

02-RDD及RDD依赖关系

摘要：1. RDD RDD(Resilient Distributed Dataset)是弹性分布式数据集的简称。具有以下特点: RDD由一系列的分区组成，一个数据块对应一个分区每个分区的数据有相应的函数对其进行计算不同的RDD相互依赖对于k-v键值对RDD数据，由分区器（Partioner）根据指阅读全文

posted @ 2024-08-18 10:34 脆皮老弟阅读(18) 评论(0) 推荐(0) 编辑