随笔分类 -  Spark

spark 3.0.0源码编译以及IDEA本地调试运行
摘要：1.下载源码 2. 修改pom.xml 把maven.version修改为3.6.3（同本地maven版本一致） 把scala.version修改为2.12.11（同本地scala版本一致） 把maven源修改为阿里云加快文件下载速度 <repositories> <repository> <id> 阅读全文
posted @ 2020-08-26 10:19 憨憨的 阅读(1168) 评论(0) 推荐(0) 编辑
spark算子---mapPartitions
摘要：关于mapPartitions https://blog.csdn.net/wuxintdrh/article/details/80278479 这篇博文我觉得写得不错了，转载一下 阅读全文
posted @ 2020-07-01 21:24 憨憨的 阅读(135) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示