spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常

2016-12-02

• 问题：spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常
• 解决方案：手动情况日志文件，并修改配置文件：/home/mr/spark/conf/spark-defaults.conf

使spark.worker.cleanup.enabled=true,

spark.worker.cleanup.appDataTtl = 259200(3*24*3600 worker App保存三天)，

然后重启spark服务和sparkSQL服务。