2020年5月19日
spark 任务提交参数
摘要： 网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs 阅读全文
posted @ 2020-05-19 16:08 liuluvaliant 阅读(590) 评论(0) 推荐(0) 编辑