Spark zip操作示例
摘要：zip命令统计指标操作实例： redis中的HINCRBY命令操作示例： 参考： Redis HINCRBY命令 redis之incrby、incr、hincrby的使用 参考： Spark编程之基本的RDD算子之zip，zipPartitions，zipWithIndex，zipWithUniqu
阅读全文
posted @ 2022-03-24 16:19
随笔分类 - Spark
hive on spark运行时 ，读取不到hive元数据问题
摘要：部署Hive On Spark时spark读取Hive元数据报错： Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spar
阅读全文
posted @ 2021-10-13 15:31
Spark中的Driver和Executor详解及相关调优
摘要：Driver： ①、driver进程就是应用的main()函数并且构建sparkContext对象，当我们提交了应用之后，便会启动一个对应的driver进程，driver本身会根据我们设置的参数占有一定的资源（主要指cpu core和memory）。②、driver可以运行在master上，也可以运
阅读全文
posted @ 2021-09-26 16:44
Spark中的RDD、DataFrame和Dataset互相转换
摘要：DataFrame与RDD互操作 官网：https://spark.apache.org/docs/2.2.1/sql-programming-guide.html 1、DataFrame与RDD互操作之一：反射方式 （RDD ==> DataFrame ①建立样例类，②调用toDF方法） pack
阅读全文
posted @ 2021-09-03 15:09
Spark 2.2.x 中文文档
摘要：Spark 2.2.x 中文文档
阅读全文
posted @ 2021-09-03 11:28
Spark中的 aggregate 方法详解
摘要：函数解析： 1. 参数：(zeroValue: U) (seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)2. 作用：aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行comb
阅读全文
posted @ 2021-08-30 18:03
spark连接mysql的几种方式
摘要：import java.util.Properties import org.apache.spark.sql.{DataFrameReader, SparkSession} object testMysql2 { def main(args: Array[String]): Unit = { //
阅读全文
posted @ 2020-10-27 14:58
