摘要: /** * 远程shell脚本执行工具类 */public class RemoteShellExecutorUtils { private static final Logger logger = LoggerFactory.getLogger(RemoteShellExecutorUtils.c 阅读全文
posted @ 2018-12-11 11:15 zhoufly 阅读(1145) 评论(0) 推荐(0) 编辑
摘要: 1、Spark优化 1) 使用foreachPartitions替代foreach。 原理类似于“使用mapPartitions替代map”,也是一次函数调用处理一个partition的所有数据,而不是一次函数调用处理一条数据。在实践中发现,foreachPartitions类的算子,对性能的提升还 阅读全文
posted @ 2018-12-11 09:03 zhoufly 阅读(8385) 评论(0) 推荐(1) 编辑