摘要: LauncherServer 代码记录 概述 代码记录 class LauncherServer implements Closeable { private static final Logger LOG = Logger.getLogger(LauncherServer.class.getNam 阅读全文
posted @ 2018-01-31 12:23 vv.past 阅读(829) 评论(0) 推荐(0) 编辑
摘要: 这里记录一下LauncherBackend和LauncherServer的通信流程 流程图 流程说明 相关记录链接 "SparkLauncher" "LauncherServer" "LauncherBackend" "ChildProcAppHandle" 阅读全文
posted @ 2018-01-31 11:42 vv.past 阅读(707) 评论(0) 推荐(1) 编辑
摘要: LauncherBackend 代码记录 概述 1.代码记录 阅读全文
posted @ 2018-01-31 10:20 vv.past 阅读(665) 评论(0) 推荐(0) 编辑
摘要: sparkLauncher 代码记录 1.概述 2.launch方法 3.createBuilder方法 3.startApplication方法 //这个方法也是用来执行任务的。只是比launch 多了一个状态监控的功能,用户可以通过提供sparkAppHandle.Listener来实现任务状态 阅读全文
posted @ 2018-01-30 19:08 vv.past 阅读(2095) 评论(0) 推荐(0) 编辑
摘要: 记录perl的数字类型一些位操作方法 在perl里数字类型是64位,在进行位操作的时候在在64位的基础上进行位运算 阅读全文
posted @ 2018-01-04 20:12 vv.past 阅读(628) 评论(0) 推荐(0) 编辑
摘要: yarn.scheduler.capacity.maximum-applications 10000 最多可同时处于等待和运行状态的应用程序数目 yarn.scheduler.capacity.maximum-am-resource-percent 1 集群中可用于运行application master的资源比例上限,... 阅读全文
posted @ 2018-01-03 09:52 vv.past 阅读(3564) 评论(0) 推荐(0) 编辑
摘要: yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id zz yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 host1 yarn.resour... 阅读全文
posted @ 2018-01-03 09:48 vv.past 阅读(9966) 评论(1) 推荐(0) 编辑
摘要: 1.dns配置 日常管理主机过程中,会有很多地方需要使用到主机名的,当主机非常多的时候,就不适合使用hosts来管理和同步的所有主机hosts了,这个时候就可以使用dns来管理主机名映射和变动 dns 在linux中如何配置,这里就不多说,百度一下“Linux bind 服务配置”就能找到很多相关文 阅读全文
posted @ 2017-06-30 15:51 vv.past 阅读(698) 评论(0) 推荐(0) 编辑
摘要: 这里记录一下linux 系统升级python对yum带来影响的解决办法 很多人在使用linux系统执行python任务的时候需要升级linux系统自带的python到高级版本。具体如何升级python这里就不做介绍了。简单说一下,一般重源码编译安装高版本的python,如果指定安装目录,就不会覆盖系 阅读全文
posted @ 2016-11-24 18:01 vv.past 阅读(6225) 评论(0) 推荐(0) 编辑
摘要: 在perl 面向对象编程里,同其它语言一样存在祖先类.所有类默认继承UNIVERSAL的属性和方法. UNIVERSAL​类有几个常用方法can,isa. can可以检查一个对象是否有相应的方法,这个方法能调用通过继承被覆盖掉的父类及及其继承类的方法. isa能判断一个对象是否是一个类或者这个类的子 阅读全文
posted @ 2016-10-12 10:55 vv.past 阅读(216) 评论(0) 推荐(0) 编辑