上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 71 下一页
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8973707.html更多调优见其他文章 一:概述 在开发完Spark作业之后,就该为作业配置合适的资源了。 Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。 很多Spark初学者,通 阅读全文
posted @ 2020-04-04 10:17 山上有风景 阅读(206) 评论(0) 推荐(0) 编辑
摘要: https://www.cnblogs.com/ssyfj/p/12615298.html 转载自:https://www.cnblogs.com/qingyunzong/p/8954552.html 一:概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘 阅读全文
posted @ 2020-04-03 23:21 山上有风景 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8946679.html 一:数据倾斜 (一)数据倾斜调优了解 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型 阅读全文
posted @ 2020-04-03 22:05 山上有风景 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8946637.html 一:避免创建重复的RDD 通常来说,我们在开发一个Spark作业时,首先是基于某个数据源(比如Hive表或HDFS文件)创建一个初始的RDD; 接着对这个RDD执行某个算子操作,然后得到下一 阅读全文
posted @ 2020-04-03 16:25 山上有风景 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 一:SparkCore,SparkSQL和SparkStreaming的类似之处 (一)SparkCore Spark Core主要是作为离线批处理(Batch Processing),每次处理的数据都是一个固定的数据集,而不是变化的 相关概念: RDD:弹性分布式数据集Spark Context: 阅读全文
posted @ 2020-04-03 10:27 山上有风景 阅读(3293) 评论(0) 推荐(2) 编辑
摘要: 一:自定义函数分类 在Spark中,也支持Hive中的自定义函数。自定义函数大致可以分为三种: 1.UDF(User-Defined-Function),即最基本的自定义函数,类似to_char,to_date等2.UDAF(User- Defined Aggregation Funcation), 阅读全文
posted @ 2020-04-03 09:27 山上有风景 阅读(1806) 评论(0) 推荐(0) 编辑
摘要: 一:什么是SparkSQL? (一)SparkSQL简介 Spark SQL是Spark的一个模块,用于处理结构化的数据,它提供了一个数据抽象DataFrame(最核心的编程抽象就是DataFrame),并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务,提交 阅读全文
posted @ 2020-04-02 15:09 山上有风景 阅读(1399) 评论(0) 推荐(2) 编辑
摘要: Spark性能调试是使用Spark的用户在进行大数据处理的时候必须面对的问题,性能调优的方法有很多,这里首先介绍一种常见的调优问题-小分区合并问题。 一:小分区合并问题介绍 在使用Spark进行数据处理的过程中,常常会使用filter方法来对数据进行一些预处理,过滤掉一些不符合条件的数据。 在使用该 阅读全文
posted @ 2020-03-31 14:31 山上有风景 阅读(1841) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8987065.html 一:分区的概念 分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区。 分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务tas 阅读全文
posted @ 2020-03-31 10:41 山上有风景 阅读(302) 评论(0) 推荐(0) 编辑
摘要: 一:累加器简介 (一)累加器用途 在spark应用程序中,我们经常会有这样的需求,如异常监控,调试,记录符合某特性的数据的数目,这种需求都需要用到计数器, 如果一个变量不被声明为一个累加器,那么它将在被改变时不会再driver端进行全局汇总, 即在分布式运行时每个task运行的只是原始变量的一个副本 阅读全文
posted @ 2020-03-30 17:39 山上有风景 阅读(1323) 评论(0) 推荐(0) 编辑
上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 71 下一页