算子内部调用sparkSession或者sparkContext报NullPointException

这个问题是在服务器上报的,本地还是行的通的。

本地和服务器都是广播过变量的,服务器就是不行,解决方案是将结果数据返回成一个array,在外部调用session进行存储

---------今天的第二个问题---------

dataframe也可以直接调用算子,但是无结果,需要df.collect。收集一下之后再进行数据处理