摘要: 安装jdk1.8 vi pom.xml CDH版本编译添加: pom.xml <repositories> <repository> <id>central</id> <!-- This should be at top, it makes maven try the central repo fi 阅读全文
posted @ 2019-01-10 16:55 MoonyPog 阅读(181) 评论(0) 推荐(0) 编辑
摘要: spark推测执行:当成功的Task数超过总Task数的75%(可通过参数spark.speculation.quantile设置)时,再统计所有成功的Tasks的运行时间,得到一个中位数,用这个中位数乘以1.5(可通过参数spark.speculation.multiplier控制)得到运行时间门 阅读全文
posted @ 2019-01-10 16:54 MoonyPog 阅读(238) 评论(0) 推荐(0) 编辑