摘要: 顾名思义,跳出的意思啦。例如如图:skipped的stages代表是已经执行过了。所以不需要再执行了。如何,你有一个 testRdd。然后先做 testRdd.Filter("xxx").map("xx"), 这个是transform然后再分别做了count和reduce操作。 这两个都是actio... 阅读全文
posted @ 2015-07-10 16:12 HarkLee 阅读(4674) 评论(0) 推荐(0) 编辑
摘要: executor显示的内存量是实际执行程序使用的内存量,也就是排除bspark.storage.memoryFraction设置的比例外,然后使用的内存量。 默认是0.6,所以executory和driver默认只会使用40%的内存量 阅读全文
posted @ 2015-07-10 15:12 HarkLee 阅读(1110) 评论(0) 推荐(0) 编辑