摘要: 本文的前提条件: SparkSQL in Java 参考地址:User Defined Aggregate Functions (UDAFs) 1.声明列实体类 package cn.coreqi.entity; import java.io.Serializable; public class U 阅读全文
posted @ 2024-01-14 21:52 SpringCore 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 本文的前提条件: SparkSQL in Java 参考地址:User Defined Aggregate Functions (UDAFs) 1.自定义实体类 package cn.coreqi.entity; import java.io.Serializable; public class A 阅读全文
posted @ 2024-01-14 17:45 SpringCore 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 本文的前提条件: SparkSQL in Java 代码如下 1.自定义聚合函数 package cn.coreqi.udaf; import org.apache.spark.sql.Row; import org.apache.spark.sql.expressions.MutableAggre 阅读全文
posted @ 2024-01-14 15:33 SpringCore 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 本文的前提条件: SparkSQL in Java 参考地址: Scalar User Defined Functions (UDFs) 完整代码 package cn.coreqi; import static org.apache.spark.sql.functions.udf; import 阅读全文
posted @ 2024-01-14 13:16 SpringCore 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 参考地址:Starting Point: SparkSession 1.新建Maven项目,POM引入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.13</art 阅读全文
posted @ 2024-01-14 13:14 SpringCore 阅读(58) 评论(0) 推荐(0) 编辑