会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
hdpdriver
博客园
首页
新随笔
联系
订阅
管理
2020年2月26日
Spark应用开发调优要点总结
摘要: 调试Spark应用性能的时候,首先应该理解spark是如何工作以及你的spark应用需要何种类型的资源。比如说,机器学习相关的spark应用更依赖cpu计算能力,ETL应用更依赖I/O能力,以此进行有针对的优化和配置。 硬件配置 正确的硬件配置要根据实际的情况来看。可以从以下几个方面来考虑: 存储系
阅读全文
posted @ 2020-02-26 11:00 hdpdriver
阅读(239)
评论(0)
推荐(0)
编辑
公告