摘要: Lazy特性 当val被声明为lazy时,它的初始化将被推迟,直到我们首次对它使用时才初始化。 1. Lazy编译时不会初始化变量,所有异常也只有使用时才能发现,如:文件不存在的异常。 2. 节省不必要的资源加载,适用使用可能性不大的资源定义。 阅读全文
posted @ 2019-08-30 06:18 会走的树 阅读(277) 评论(0) 推荐(0) 编辑
摘要: scala def 方法 def 方法名(参数): 返回类型 = {方法体} 方法创建方式 默认参数 可变长参数 阅读全文
posted @ 2019-08-30 06:17 会走的树 阅读(722) 评论(0) 推荐(0) 编辑
摘要: 循环 while 略 for break scala import scala.util.control.Breaks._ breakable { for (i 阅读全文
posted @ 2019-08-30 06:16 会走的树 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 异常 阅读全文
posted @ 2019-08-30 06:16 会走的树 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 输入 格式化输出 输出到文件 读取文件 scala import scala.io.Source val inPutFile = Source.fromFile("D:\\大数据技\\Spark_scala\\scala\\data\\readData.txt") val textIter = in 阅读全文
posted @ 2019-08-30 06:15 会走的树 阅读(111) 评论(0) 推荐(0) 编辑
摘要:  数组 定长数组 变长数组 符号使用 方法使用 多维数组 方法 数组合并 map reduce length updated filter sum max min distinct reverse count sort zip mkString toXxx flatten flatMap grou 阅读全文
posted @ 2019-08-30 06:13 会走的树 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 默认情况下,如果在一个算子函数中使用到了某个外部的变量,那么这个变量的值会被拷贝到每个task中。此时每个task只能操作自己的那份变量副本。如果多个task想要共享某个变量,那么这种方式是做不到的。 Spark为此提供了两种共享变量,一种是Broadcast Variable(广播变量),另一种是 阅读全文
posted @ 2019-08-30 06:12 会走的树 阅读(520) 评论(0) 推荐(0) 编辑
摘要: 1、都是基于JVM虚拟机运行的 Scala编译之后的文件也是.class,都要转换为字节码,然后运行在JVM虚拟机之上。 2、Scala和Java相互调用 在Scala中可以直接调用Java的代码,同时在Java中也可以直接调用Scala的代码 数据类型 阅读全文
posted @ 2019-08-30 06:06 会走的树 阅读(158) 评论(0) 推荐(0) 编辑