九月十三日

5. Spark SQL 与 DataFrame 基本操作

概述

Spark SQL 允许我们使用 SQL 查询操作处理大数据。本文将介绍如何使用 Spark SQL 和 DataFrame 进行基本的数据查询和分析操作。

内容

Spark SQL 和 DataFrame 概述

创建 DataFrame

执行 SQL 查询

数据过滤与聚合操作

代码示例

val spark = SparkSession.builder.appName("Spark SQL Basic").getOrCreate() // 创建 DataFrame val df = spark.read.json("people.json") // 展示 DataFrame 数据 df.show() // 运行 SQL 查询 df.createOrReplaceTempView("people") val sqlDF = spark.sql("SELECT name, age FROM people WHERE age > 21") sqlDF.show()