spark 内存管理

经常看到OOM,但是不知道什么原因? 那就学习一下spark内存管理看看到底是怎么管理内存,有什么办法防止OOM,有什么办法调优?

  1. https://0x0fff.com/spark-memory-management/ 
  2. https://unraveldata.com/common-reasons-spark-applications-slow-fail-part-1/
  3. https://developpaper.com/spark-unified-memory-management/
  4. http://arganzheng.life/spark-executor-memory-management.html
posted @ 2020-07-26 23:08  mashuai_191  阅读(91)  评论(0编辑  收藏  举报