2020年4月29日
利用HDFS来解决Spark On Yarn模式解决Jar乱飞情况
摘要： Spark的jar包比较多，如果直接修改spark的jars目录中的jar可能对用户造成jar包冲突，也不利于管理，因为可以利用HDFS存储功能解决jar问题 1、在本地创建zip文件，压缩jar包 # 进入到spark的jars目录，在spark的jars目录下压缩包zip spark.zip . 阅读全文
posted @ 2020-04-29 09:00 虎啸千峰 阅读(1119) 评论(0) 推荐(0) 编辑