2020年2月26日
Spark应用开发调优要点总结
摘要： 调试Spark应用性能的时候，首先应该理解spark是如何工作以及你的spark应用需要何种类型的资源。比如说，机器学习相关的spark应用更依赖cpu计算能力，ETL应用更依赖I/O能力，以此进行有针对的优化和配置。 硬件配置 正确的硬件配置要根据实际的情况来看。可以从以下几个方面来考虑： 存储系 阅读全文
posted @ 2020-02-26 11:00 hdpdriver 阅读(252) 评论(0) 推荐(0) 编辑