2020年3月4日
利用动态资源分配优化Spark应用资源利用率
摘要： 背景 在某地市开展项目的时候，发现数据采集，数据探索，预处理，数据统计，训练预测都需要很多资源，现场资源不够用。 目前该项目的资源3台旧的服务器，每台的资源 内存为128G，cores 为24 （core可暂时忽略，以下仅考虑内存即可） 。 案例分析 我们先对任务分别分析，然后分类。 数据采集基于D 阅读全文
posted @ 2020-03-04 14:12 starqiu 阅读(1313) 评论(0) 推荐(0) 编辑