摘要: RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时,那些没有被持久化的数据,需要从源头处重新计算一遍。这是默认的 阅读全文
posted @ 2021-04-04 19:19 wanpi 阅读(433) 评论(0) 推荐(0) 编辑
摘要: 之前学习spark,最近需要在k8s集群上提交spark应用,学习过程中,记录了以下几点 1.k8s集群架构 Master Node k8s 集群控制节点,对集群进行调度管理,接受集群外用户去集群操作请求; Master Node 由 API Server、Scheduler、ClusterStat 阅读全文
posted @ 2021-04-04 19:12 wanpi 阅读(2020) 评论(0) 推荐(0) 编辑
摘要: docker是创建容器的工具。 docker作用:可以把代码和环境一起打包部署到生产环境中。比如:我们写好的代码迁移到别的地方运行,不需要重新配置环境就能直接运行 docker的三大特征:镜像(Image)、容器(Container)、仓库(Repository) 从上图可以看出 容器是由镜像实例化 阅读全文
posted @ 2021-04-04 19:06 wanpi 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 1.Driver和SparkContext 先有的driver,在driver中创建的sparkcontext。 运行应用程序的main函数,启动一个Driver进程。功能如下: 创建spark的sparkcontext上下文 划分RDD并生成有向无环图(DAG) 与spark中的其他组件进行协调, 阅读全文
posted @ 2021-04-04 18:58 wanpi 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 有的小伙伴在部署K8S集群时flannel无法下载,我这里直接给出这个文件。 kube-flannel.yaml apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.unprivileged a 阅读全文
posted @ 2021-03-30 09:57 wanpi 阅读(1354) 评论(0) 推荐(0) 编辑
摘要: 1. 安装docker 1.1 前置工作 master节点和worker节点上都需要进行下面的操作。 # 关闭了防火墙,并取消了开机自启动。 hadoop@master:sudo ufw disable #查看防火墙状态 hadoop@master:sudo ufw status # 关闭selin 阅读全文
posted @ 2021-03-30 09:42 wanpi 阅读(872) 评论(0) 推荐(1) 编辑
摘要: 1. spark shuffle write和shuffle read 什么是shuffle操作 spark中的shuffle操作功能:将分布在集群中多个节点上的同一个key,拉取到同一个节点上,进行聚合或join操作,类似洗牌的操作。这些分布在各个存储节点上的数据重新打乱然后汇聚到不同节点的过程就 阅读全文
posted @ 2021-03-25 14:30 wanpi 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 1、各种模式的运行图解 1.1 Standalone-client 使用SparkSubmit提交任务的时候,使用本地的Client类的main函数来创建sparkcontext并初始化它,为我们的Application启动一个Driver进程; 1、Driver连接到Master,注册并申请资源( 阅读全文
posted @ 2021-03-25 14:29 wanpi 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 1、数据本地化级别 数据本地化:数据离计算它的代码有多近。基于数据距离代码的距离,有几种数据本地化级别: PROCESS_LOCAL :数据和计算它的代码在同一个Executor JVM进程中。 NODE_LOCAL : 数据和计算它的代码在同一个节点,但不在同一个进程中,比如在不同的executo 阅读全文
posted @ 2021-03-25 14:28 wanpi 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 使用 IDEA 在pom.xml中添加maven 依赖包时下载依赖包大部分速度很慢,很慢,通过这样修改,使用阿里的maven镜像就可以了,速度快到飞起,亲测有效!之后不管下载什么,再也不用担心了 操作步骤: 1、右键项目选中maven选项,然后选择“open settings.xml”或者 “cre 阅读全文
posted @ 2021-03-13 17:45 wanpi 阅读(5942) 评论(1) 推荐(2) 编辑