2016年1月9日
【原】Spark on YARN
摘要： 在Spark0.6.0版本开始支持YARN模式，随后的版本在逐渐地完善。 确保HADOOP_CONF_DIR或YARN_CONF_DIR属性的值已经指向了Hadoop集群的配置文件。Spark通常使用这些配置信息来向HDFS写入数据和连接到YARN资源管理器。这个目录下所有的文件将会被分发到YARN 阅读全文
posted @ 2016-01-09 10:06 一路向前走 阅读(6992) 评论(0) 推荐(1) 编辑