九月十二日

4. Spark 基础：RDD 操作

概述

Spark 是一个快速大数据处理框架，具有强大的内存计算能力。本文将介绍 Spark RDD 的基本操作，包括创建、转换和行动操作。

内容

• RDD 概念
• 创建 RDD：从集合或外部数据源
• RDD 转换操作：map、filter
• RDD 行动操作：collect、count

代码示例

val conf = new SparkConf().setAppName("BasicRDDOperations").setMaster("local") val sc = new SparkContext(conf) // 创建 RDD val data = Array(1, 2, 3, 4, 5) val rdd = sc.parallelize(data) // 转换操作 val rdd2 = rdd.map(x => x * 2) // 行动操作 val result = rdd2.collect() result.foreach(println)