2021年12月30日
利用SparkLauncher在代码中调用Spark作业
摘要： 背景 项目需要处理很多文件，而一些文件很大有几十GB，因此考虑对于这种文件，专门编写Spark程序处理，为了程序的统一处理，需要在代码中调用Spark作业来处理大文件。 实现方案 经过调研，发现可以使用Spark提供的SparkLauncher类进行Spark作业的提交，这个类的使用有很多参数需要注 阅读全文
posted @ 2021-12-30 20:11 远去的列车 阅读(952) 评论(0) 推荐(0) 编辑