2020年4月24日
spark 集群优化
摘要： 只有满怀自信的人，能在任何地方都怀有自信，沉浸在生活中，并认识自己的意志。 前言 最近公司有一个生产的小集群，专门用于运行spark作业。但是偶尔会因为nn或dn压力过大而导致作业checkpoint操作失败进而导致spark 流任务失败。本篇记录从应用层面对spark作业进行优化，进而达到优化集群 阅读全文
posted @ 2020-04-24 21:46 JohnnyBai 阅读(2246) 评论(2) 推荐(1) 编辑