03 2015 档案

Apache Spark技术实战之8：Standalone部署模式下的临时文件清理
摘要：Spark运行过程中资源的申请和释放一直是源码分析时需要关注的重点，从资源种类上来说，有CPU、内存、网络、磁盘，其中前三者会在进程退出时由OS来负责释放。而占用的磁盘资源，如果Spark自身不及时的清理，就势必会造成文件的堆积，直至磁盘被占满不可用。 因此有必要弄清楚Spark运行过程中产生的临时文件及其释放的时机，这样有助于部署和运维过程中采取相应的文件清理策略。 阅读全文
posted @ 2015-03-08 20:25 徽沪一郎 阅读(4578) 评论(1) 推荐(1) 编辑