摘要: 首先交代一下背景: 先前公司采用的spark版本是1.6.1, spark1.6之后有一个新的特性:Dynamic Allocation,也就是动态的executor,会根据task的情况自动增加或者 减少executor的个数,这样就能够在一定程度上避免资源的浪费。但很遗憾,先前公司使用spark 阅读全文
posted @ 2018-06-25 19:53 无西lc 阅读(489) 评论(0) 推荐(0) 编辑
摘要: 事情的初衷是这样的:线上有一个小的zk集群,三台机器。其中有一台机器过了保期,需要置换。所以需要用一台新的机器来替换掉其中的一个zk节点,但是为了不影响 线上的服务,所以不能停zk集群。 这里不将具体的hostname和ip写出来,姑且将原来的三台机器定义为 a、b和c, 现在b过保,用新机器d来替 阅读全文
posted @ 2018-06-25 16:55 无西lc 阅读(860) 评论(0) 推荐(0) 编辑