2015年11月17日
spark笔记
摘要： 运行任务的时候，有一些中间数据需要写集群的worker的目录，默认是写/tmp目录spark-env.sh 增加export SPARK_WORKER_DIR=/data/spark/workexport SPARK_LOCAL_DIRS=/data/spark/data需要先创建好目录给777权限... 阅读全文
posted @ 2015-11-17 10:46 数据盟 阅读(126) 评论(0) 推荐(0) 编辑