随笔分类 - 计算 / Spark

03-RDD算子

摘要：1. 转换类算子 1.1 基本转换类算子 1、Map 新的RDD中的每个元素与旧的RDD的每个元素是一对一的关系。 object CH_0201_RDDAPI_Map { def main(args: Array[String]): Unit = { val conf: SparkConf = ne 阅读全文

posted @ 2024-08-21 21:19 脆皮老弟阅读(5) 评论(0) 推荐(0) 编辑

02-RDD及RDD依赖关系

摘要：1. RDD RDD(Resilient Distributed Dataset)是弹性分布式数据集的简称。具有以下特点: RDD由一系列的分区组成，一个数据块对应一个分区每个分区的数据有相应的函数对其进行计算不同的RDD相互依赖对于k-v键值对RDD数据，由分区器（Partioner）根据指阅读全文

posted @ 2024-08-18 10:34 脆皮老弟阅读(19) 评论(0) 推荐(0) 编辑

01-从WordCount程序理解Spark术语及术语间的关系

摘要：1. 应用程序（Application）通过下面的代码设置应用程序名称，设置后再UI中可以看到相应的名称。 //1.设置Application的名称 val conf = new SparkConf() conf.setAppName("WordCount") conf.setMaster("lo 阅读全文

posted @ 2024-07-28 08:10 脆皮老弟阅读(8) 评论(0) 推荐(0) 编辑