Spark遇到的一些问题

1.spark Dataframe的生命周期及执行

 

 

 　　上述小测试是想保留value只保留（1，张三）这条数据，这条数据的来源是test1表，现对test1表进行操作（改为2，李四），同时希望value不变（还是1，张三），初始我认为value声明在前，而后面才对test1操作，不会影响value的，结果发现不是。后续又做了小测试，可得结论：

　　1.spark DataFrame的生命周期是随着Spark Session的，这点无须讨论；

　　2.value1 = value 这一步证明这里传递的也是地址值（参考java）

　　3.最终执行value.show操作时，value会重新执行他的那条赋值语句，而此时你的test1虽然是在赋值语句之后有变化的，但在这里value的值也会跟着变。