摘要：
一、前述 Spark中默认有两大类算子，Transformation（转换算子）,懒执行。action算子，立即执行，有一个action算子 ，就有一个job。 通俗些来说由RDD变成RDD就是Transformation算子，由RDD转换成其他的格式就是Action算子。 二、常用Transfor 阅读全文
摘要：
一、前述 Spark是基于内存的计算框架，性能要优于Mapreduce，可以实现hadoop生态圈中的多个组件，是一个非常优秀的大数据框架，是Apache的顶级项目。One stack rule them all 霸气。 但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要 阅读全文
摘要：
一、前述 Scala中的函数还是比较重要的，所以本文章把Scala中可能用到的函数列举如下，并做详细说明。 二、具体函数 1、Scala函数的定义 注意点： 函数定义语法 用def来定义 l可以定义传入的参数，要指定传入参数的类型 方法可以写返回值的类型也可以不写，会自动推断，有时候不能省略，必须写 阅读全文
摘要：
一、前述 Scala Trait(特征) 相当于 Java 的接口，实际上它比接口还功能强大。 模式匹配机制相当于java中的switch-case。 使用了case关键字的类定义就是样例类(case classes)，样例类是种特殊的类。 Actor相当于Java中的多线程。 二、具体阐述 tra 阅读全文
摘要：
一、前述 Scala在常用的集合的类别有数组，List，Set，Map，元祖。 二、具体实现 数组 1、创建数组 new Array[Int](10) 赋值：arr(0) = xxx Array[String](“s1”,”s2”,”s3”) 2、数组遍历 创建二维数组（相当于数组中的每元素是一个数 阅读全文
摘要：
一、前述 Scala是基于JVM的另一个语言。 Scala官网6个特征。 1).Java和scala可以混编 2).类型推测(自动推测类型) 3).并发和分布式（Actor） 4).特质，特征(类似java中interfaces 和 abstract结合) 5).模式匹配（类似java switch 阅读全文