2019年1月6日
spark使用性能优化记录——二
摘要： 之前做了记录了spark的一些配置调优，接下来记录一下本人在开发中用到的一些调优手段。 算子调优 MapPartitons提升Map类操作性能： spark中每个task处理一个RDD的partition，一条一条数据--> task function MapPartitons后所有的数据（一个分区 阅读全文
posted @ 2019-01-06 15:33 力扛九鼎 阅读(844) 评论(0) 推荐(0) 编辑