2020年4月24日
Spark：任务中如何确定spark分区数、task数目、core个数、worker节点个数、excutor数量
摘要： 先上图： 每一个过程的任务数，对应一个inputSplit1, Partition输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入 阅读全文
posted @ 2020-04-24 20:20 Q1Zhen 阅读(1336) 评论(1) 推荐(0) 编辑