2019年9月21日
通过 spark.files 传入spark任务依赖的文件源码分析
摘要： 版本：spak2.3 相关源码：org.apache.spark.SparkContext 在创建spark任务时候，往往会指定一些依赖文件，通常我们可以在spark-submit脚本使用--files /path/to/file指定来实现。 但是公司产品的架构是通过livy来调spark任务，li 阅读全文
posted @ 2019-09-21 16:34 sw_kong 阅读(1967) 评论(0) 推荐(0) 编辑