摘要:
顾名思义,跳出的意思啦。例如如图:skipped的stages代表是已经执行过了。所以不需要再执行了。如何,你有一个 testRdd。然后先做 testRdd.Filter("xxx").map("xx"), 这个是transform然后再分别做了count和reduce操作。 这两个都是actio... 阅读全文
摘要:
executor显示的内存量是实际执行程序使用的内存量,也就是排除bspark.storage.memoryFraction设置的比例外,然后使用的内存量。 默认是0.6,所以executory和driver默认只会使用40%的内存量 阅读全文