2019年12月14日
将DataFrame赋值为可变变量在spark中多次赋值后运行速度减慢的问题
摘要： 该问题先标记上，之后有空了研究原因。 在var dataframe后将dataframe作为参数输入某方法，将结果重新赋予该dataframe，会导致spark运行显著减慢速度。暂时不知道原因，之后研究（可以去stackoverflow提问）将数据来源改为val之后运行速度显著提高。超过100倍速度 阅读全文
posted @ 2019-12-14 19:14 梦里繁花 阅读(538) 评论(0) 推荐(0) 编辑