摘要: https://blog.csdn.net/sparkexpert/article/details/52871000 随着新版本的spark已经逐渐稳定,最近拟将原有框架升级到spark 2.0。还是比较兴奋的,特别是SQL的速度真的快了许多。。 然而,在其中一个操作时却卡住了。主要是datafra 阅读全文
posted @ 2020-12-10 15:50 一叶知秋。 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 在spark1.X以前,Logging使用的是org.apache.spark.Logging这个类,但是在spark2.X以后,这个类被改成了import org.apache.spark.internal.Logging。下图的spark版本是2.x,可以看出对于org.apache.spark 阅读全文
posted @ 2020-12-10 15:16 一叶知秋。 阅读(949) 评论(0) 推荐(0) 编辑