Spark-03 scala

前言

a.spark可以用三种不同的语言编写：scala，python和java，相比于其他两种语言，scala的性能较好。

ps：scala也是基于jvm的一种语言，有些地方效率比java更高。

b.函数式编程

Spark依赖于函数式编程，使用函数作为基本编程输入，函数没有状态或副作用，只包含输入和输出。

c.事先准备

下面进入spark-shell，启动sparkshell不用先启动spark， 如果加了/spark-shell

启动命令：./spark-shell （local模式启动） ./spark-shell  --master（启动spark）

 

 现在写一个大小写字母转换的函数

再写spark读取一个文件，用.map方法遍历每一行，把toUpper传递进去

除此以外还能传递匿名函数。