spark mongo 性能优化

 

性能优化事项

http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf

 

MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing.com/tj/mongodb_shanghai_spark

性能优化事项

  • 使用合适的chunksize (MB)
    Total data size / chunksize = chunks = RDD partitions = spark tasks
  • 不要将所有CPU核分配给Spark
    预留1-2个core给操作系统及其他管理进程
  • 同机部署
    适当情况可以同机部署Spark+MongoDB，利用本地IO提高性能

 

posted @ 2017-11-23 17:09  papering  阅读(743)  评论(0)  编辑  收藏  举报