关于Spark中Columns的引用方法

 

在Spark中有多种可以构建或者引用columns的方法，但是最简单的还是使用col 或者column函数。方法如下：

//in Scala
import org.apache.spark.sql.functions.{col, column}
col("myColumnA")
column("myColumnB")

#in Python
from pyspark.sql.functins import col, column
col("myColumnA")
column("myColumnB")

在Scala中，还有其他一些特殊的并且更方便的方法来引用columns。例如以下的语法糖同样可以用来引用或者创建一个column(性能上没有差别)：

//in Scala
$"myColumnA"

'myColumnB

$ 允许我们指定某个字符串来引用某个表达式(exprossion)。
'被称作 symbol ，在Scala中可以用来引用其他标识符。
它们都可以用来作为通过列名引用column对象的快捷方法。

参考资料
Spark - The Definitive Guide