摘要: 一. 读取和保存说明 SparkSQL提供了通用的保存数据和数据加载的方式,还提供了专用的方式 读取:通用和专用 保存 保存有四种模式: 默认: error : 输出目录存在就报错 append: 向输出目录追加 overwrite : 覆盖写 ignore: 忽略,不写 二. 数据格式 1. Pa 阅读全文
posted @ 2020-08-13 16:44 来自遥远的水星 阅读(1337) 评论(0) 推荐(0) 编辑
摘要: 一.UDF(一进一出) 步骤 ① 注册UDF函数,可以使用匿名函数。 ② 在sql查询的时候使用自定义的UDF。 示例 import org.apache.spark.sql.{DataFrame, SparkSession} /** * @description: UDF一进一出 * @autho 阅读全文
posted @ 2020-08-13 16:15 来自遥远的水星 阅读(975) 评论(0) 推荐(0) 编辑
摘要: 一.环境准备 1.pom文件 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </dep 阅读全文
posted @ 2020-08-13 10:20 来自遥远的水星 阅读(483) 评论(0) 推荐(0) 编辑