摘要：
import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U 阅读全文
摘要：
Scala中sortBy是以方法的形式存在的,并且是作用在Array或List集合排序上,并且这个sortBy默认只能升序,除非实现隐式转换或调用reverse方法才能实现降序,Spark中sortBy是算子,作用出发RDD中数据进行排序,默认是升序可以通过该算子的第二参数来实现降序排序的方式 阅读全文
摘要：
val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupB 阅读全文
摘要：
1：使用return关键字 object BreakLoop { //1.使用return关键字 def add():Unit= { for(i <- 1 to 10){ if(i==7){ //停止循环 //使用注意: 终止方法并带回一个返回值 // 使用return --> 停止的是方法,所以不 阅读全文
摘要：
Scala中Option是用来表示一个可选类型 什么是可选? --> 主要是指 有值(Some) 和 无值(None)-->Some和None是Option的子类 val myMap:Map[String,String] = Map("key1"->"value1") //获取集合value的值 v 阅读全文
摘要：
1：nothing是所有类型的子类，他没有具体的实例对象，常见的应用：抛出异常、程序exit、无线循环等。 2：nothing是所有类型的子类，也是null的子类，nothing没有对象，但是可以用来定义类型，如方法抛出异常的返回值类型就是nothing。 3：null是所有引用类型的子类，他只是一 阅读全文
摘要：
1：内容是否可变：val修饰的是不可变的，var修饰是可变的 2：val修饰的变量在编译后类似于java中的中的变量被final修饰 3：lazy修饰符可以修饰变量，但是这个变量必须是val修饰的 ps:lazy相当于延迟加载（懒加载），当前变量使用lazy修饰的时候，只要变量不被调用，就不会进行初 阅读全文