2018年12月17日
通过spark-submit提交hadoop配置的方法
摘要： 通过spark提交的spark开头的配置在程序启动后会添加到SparkConf中，但是hadoop相关的配置非spark开头会被过滤掉，但是只要在这些配置的key前面添加spark.hadoop.前缀，则该key就不会被过滤，会被放置到SparkConf中；最终会存储在Configuration 对 阅读全文
posted @ 2018-12-17 17:55 一直爬行的蜗牛牛 阅读(1975) 评论(0) 推荐(0) 编辑