SpringCore - 博客园

2024年1月15日

摘要： Spark Thrift Server是Spark社区基于HiveServer2实现的一个Thrift服务协议和接口同HiveServer2完全一致，无缝兼容HiveServer2 目的是取代HiveServer2，依旧可以和Hive的Metastore进行交互，获取Hive元数据部署Spark 阅读全文

posted @ 2024-01-15 13:08 SpringCore 阅读(1022) 评论(0) 推荐(0)

SparkSQL 操作Hive In Java

摘要：本文的前提条件: SparkSQL in Java 1.增加POM依赖 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</artifactId> <version>8.0.33</version> </d 阅读全文

posted @ 2024-01-15 12:21 SpringCore 阅读(175) 评论(0) 推荐(0)

SparkSQL 操作Hive

摘要： Spark中本身内置了Hive，但一般用于测试，生产环境中需要连接外置的Hive 1.将Hive的配置文件hive-site.xml拷贝到Spark的配置目录下 cp /usr/hive/apache-hive-3.1.3-bin/conf/hive-site.xml /usr/spark/spar 阅读全文

posted @ 2024-01-15 12:06 SpringCore 阅读(274) 评论(0) 推荐(0)

SparkSQL通过JDBC连接Mysql

摘要：本文的前提条件: SparkSQL in Java 参考地址：JDBC To Other Databases 1.POM添加Mysql JDBC驱动 <dependency> <groupId>com.mysql</groupId> <artifactId>mysql-connector-j</ar 阅读全文

posted @ 2024-01-15 10:20 SpringCore 阅读(244) 评论(0) 推荐(0)

2024年1月14日

SparkSQL 自定义聚合函数[强类型] & DSL

摘要：本文的前提条件: SparkSQL in Java 参考地址：User Defined Aggregate Functions (UDAFs) 1.声明列实体类 package cn.coreqi.entity; import java.io.Serializable; public class U 阅读全文

posted @ 2024-01-14 21:52 SpringCore 阅读(81) 评论(0) 推荐(0)

SparkSQL 自定义聚合函数[强类型]

摘要：本文的前提条件: SparkSQL in Java 参考地址：User Defined Aggregate Functions (UDAFs) 1.自定义实体类 package cn.coreqi.entity; import java.io.Serializable; public class A 阅读全文

posted @ 2024-01-14 17:45 SpringCore 阅读(96) 评论(0) 推荐(0)

SparkSQL 自定义聚合函数[弱类型]

摘要：本文的前提条件: SparkSQL in Java 代码如下 1.自定义聚合函数 package cn.coreqi.udaf; import org.apache.spark.sql.Row; import org.apache.spark.sql.expressions.MutableAggre 阅读全文

posted @ 2024-01-14 15:33 SpringCore 阅读(51) 评论(0) 推荐(0)

SparkSQL 自定义标准函数

摘要：本文的前提条件: SparkSQL in Java 参考地址: Scalar User Defined Functions (UDFs) 完整代码 package cn.coreqi; import static org.apache.spark.sql.functions.udf; import 阅读全文

posted @ 2024-01-14 13:16 SpringCore 阅读(50) 评论(0) 推荐(0)

SparkSQL in Java

摘要：参考地址：Starting Point: SparkSession 1.新建Maven项目,POM引入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.13</art 阅读全文

posted @ 2024-01-14 13:14 SpringCore 阅读(134) 评论(0) 推荐(0)

2024年1月2日

Spark Yarn模式

摘要：独立部署（Standalone）模式由 Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。在国内工阅读全文

posted @ 2024-01-02 20:59 SpringCore 阅读(208) 评论(0) 推荐(0)

Coreqi

公告