摘要：
数据倾斜原理和现象分析 数据倾斜概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。 数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快，但个 阅读全文
摘要：
spark的shuffle原理分析 shuffle概述 Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Redu 阅读全文
摘要：
spark任务中资源参数剖析 通过开发工具开发好spark程序后达成jar包最后提交到集群中运行 提交任务脚本如下 spark-submit \ --master spark://node01:7077,node02:7077 \ --class com.kaikeba.WordCountOnSpa 阅读全文
摘要：
collect 算子操作剖析 collect算子操作的作用： 它是一个action操作，会触发任务的运行 它会把RDD的数据进行收集之后，以数组的形式返回给Driver端 总结： 默认Driver端的内存大小为1G，由参数 spark.driver.memory 设置。 如果某个rdd的数据量超过了 阅读全文
摘要：
spark on yarn spark程序可以提交到yarn中去运行，此时spark任务所需要的计算资源由yarn中的老大ResourceManager去分配 官网资料地址: http://spark.apache.org/docs/2.3.3/running-on-yarn.html 环境准备 安 阅读全文
摘要：
spark程序的序列化问题 transformation操作为什么需要序列化 spark是分布式执行引擎，其核心抽象是弹性分布式数据集RDD，其代表了分布在不同节点的数据。Spark的计算是在executor上分布式执行的，所以用户执行RDD的map，flatMap，reduceByKey等tran 阅读全文
摘要：
案例1：使用Java实现spark的wordCount 案例需求： 单词计数 第一步：创建maven工程，引入依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11< 阅读全文
摘要：
🌈RDD的算子 算子可以理解成RDD的一些方法。 RDD的算子可以分为2类： 1、transformation（转换） 根据已经存在的rdd转换生成一个新的rdd, 它是延迟加载，它不会立即执行 例如： map / flatMap / reduceByKey 等 2、action (动作) 它会真 阅读全文
摘要：
🌈RDD RDD是什么 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD是spark core的底层核心。 Dataset:就是一个集合，存储很多数据. Distr 阅读全文
摘要：
通过IDEA开发spark程序 构建maven工程 创建src/main/scala 和 src/test/scala 目录 添加pom依赖 说明： 创建maven工程后，设定maven为自己安装的maven，并在确保settings.xml里面设置了镜像地址为阿里云 如果下载不下来scala-ma 阅读全文