随笔分类 - Spark
Spark学习（二）：RDD详解
摘要：Spark学习（二）：RDD详解 RDD API 一般来说有三种创建RDD的方式 由外部存储系统的数据集创建（比如本地的文件系统，同时兼容所有Hadoop支持的数据集）：sc.textFile 通过已有的RDD通过算子转换生成新的RDD：rdd1.flatMap(_.split(" ")) 通过一个
Spark学习（一）：概述
摘要：2024.9.14腾讯广告一面时，被问到是否了解Spark，彼时对Spark毫无接触故答不了解，面试结束后了解到Spark与MapReduce渊源颇深，去年夏天学习MIT6.824分布式系统设计时曾深入学习过MapReduce（分布式学习：MapReduce - pinoky - 博客园 (cnbl
