摘要：
withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 阅读全文
摘要：
在spark中，我们知道一切的操作都是基于RDD的。在使用中，RDD有一种非常特殊也是非常实用的format——pair RDD，即RDD的每一行是（key, value）的格式。这种格式很像Python的字典类型，便于针对key进行一些处理。 针对pair RDD这样的特殊形式，spark中定义了 阅读全文
摘要：
喝水不忘挖井人，感谢阿里巴巴项目组提供了easyexcel工具类，github地址：https://github.com/alibaba/easyexcel 原文链接：https://blog.csdn.net/qq_32258777/article/details/89031479 文章目录环境搭 阅读全文