会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
beipiaodiaosi
新随笔
管理
上一页
1
···
4
5
6
7
8
9
10
11
12
···
15
下一页
2019年8月4日
linux 关机&重启命令
摘要: 注意: 不管是重启系统还是关闭系统,首先要运行sync命令,把内存中的数据写到磁盘中 正确的关机流程为:sync > shutdown > reboot > halt 基本语法 (1)sync (功能描述:将数据由内存同步到硬盘中) (2)halt (功能描述:关闭系统,等同于shutdown -h
阅读全文
posted @ 2019-08-04 20:52 北漂屌丝
阅读(152)
评论(0)
推荐(0)
编辑
linux 命令大全
摘要: https://man.linuxde.net/
阅读全文
posted @ 2019-08-04 09:11 北漂屌丝
阅读(94)
评论(0)
推荐(0)
编辑
2019年7月25日
spark 累加器
摘要: 累加器在Driver端定义赋初始值,累加器只能在Driver端读取,在Excutor端更新
阅读全文
posted @ 2019-07-25 07:55 北漂屌丝
阅读(115)
评论(0)
推荐(0)
编辑
2019年7月24日
SPARK任务调度模式
摘要: spark的调度模式分为两种:FIFO(先进先出)和FAIR(公平调度) 默认是FIFO,即谁先提交谁先执行 FAIR支持在调度池中再进行分组,可以有不同的权重,根据权重、资源等来决定谁先执行 spark的调度模式可以通过spark.scheduler.mode进行设置 默认是FIFO,即谁先提交谁
阅读全文
posted @ 2019-07-24 21:58 北漂屌丝
阅读(533)
评论(0)
推荐(0)
编辑
SPARK 资源调度源码总结
摘要: Executor在集群中分散启动,有利于task计算的数据本地化 默认情况下(提交任务的时候没有设置--executor-cores选项),每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存 如果想在Wor
阅读全文
posted @ 2019-07-24 21:55 北漂屌丝
阅读(167)
评论(0)
推荐(0)
编辑
2019年7月22日
粗粒度资源申请和细粒度资源申请
摘要: 粗粒度资源申请(Spark) 在Application执行之前,将所有的资源申请完毕,当资源申请成功后,才会进行任务的调度,当所有的task执行完成后,才会释放这部分资源 优点:在Application执行之前,所有的资源都申请完毕,每一个task直接使用资源就可以了,不需要task在执行前自己去申
阅读全文
posted @ 2019-07-22 20:51 北漂屌丝
阅读(482)
评论(0)
推荐(0)
编辑
Spark资源调度和任务调度的流程
摘要: 1、启动集群后,Worker节点会向Master节点汇报资源情况,Master掌握了集群资源情况 2、当Spark提交一个Application后,根据RDD之间的依赖关系将Application形成一个DAG有向无环图。任务提交后,Spark会在Driver端创建两个对象:DAGScheduler
阅读全文
posted @ 2019-07-22 20:47 北漂屌丝
阅读(222)
评论(0)
推荐(0)
编辑
Spark与MR异同
摘要: 资源粒度 MR是基于进程,MR的每一个task都是一个进程,当task完成时,进程也会结束 spark是基于线程,Spark的多个task跑在同一个进程上,这个进程会伴随spark应用程序的整个生命周期,即使没有作业进行,进程也是存在的 所以,spark比MR快的原因也在这,MR启动就需要申请资源,
阅读全文
posted @ 2019-07-22 19:41 北漂屌丝
阅读(465)
评论(0)
推荐(0)
编辑
2019年7月21日
cache,persist,checkpoint 区别
摘要: 控制算子有三种,cache,persist,checkpoint,以上算子都可以将RDD持久化,持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘,还能切断RDD之间的依赖关系 cache
阅读全文
posted @ 2019-07-21 20:42 北漂屌丝
阅读(1164)
评论(0)
推荐(0)
编辑
Spark基于Yarn提交任务两种方式
摘要: yarn-client提交任务方式 yarn-client提交任务方式 客户端提交一个Application,在客户端启动一个Driver进程 Driver进程会向RS(ResourceManager)发送请求,启动AM(ApplicationMaster)的资源 RS收到请求,随机选择一台NM(N
阅读全文
posted @ 2019-07-21 17:36 北漂屌丝
阅读(2680)
评论(0)
推荐(0)
编辑
上一页
1
···
4
5
6
7
8
9
10
11
12
···
15
下一页