stay foolish,stay hungry.

导航

09 2017 档案

spark application调度机制（spreadOutApps，oneExecutorPerWorker 算法）
摘要：1.要想明白spark application调度机制，需要回答一下几个问题： 1.谁来调度？ 2.为谁调度？ 3.调度什么？ 3.何时调度？ 4.调度算法 前四个问题可以用如下一句话里来回答:每当集群资源发生变化时（包含master主备切换），active master 进程为所有已注册的并且没有 阅读全文

posted @ 2017-09-13 16:06 red_and_black 阅读(680) 评论(0) 推荐(0)

scala中:: , +:, :+, :::, +++的区别
摘要：初学scala的人都会被Seq的各种操作符所迷惑。下面简单列举一下各个Seq操作符的区别。 4种操作符的区别和联系 :: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说 阅读全文

posted @ 2017-09-05 10:50 red_and_black 阅读(4772) 评论(1) 推荐(3)