摘要：
1.扩展类 2.重写方法 3.类型检查和转换 4.超类的构造 5.重写字段 6.抽象类 7.抽象字段 8.构造顺序和提前定义 9.对象相等性 阅读全文
摘要：
1.单例对象 2.伴生对象 3.扩展类或特质的对象 4.apply方法 5.应用程序对象 6.枚举 阅读全文
摘要：
1.简单类和无参方法 2.带getter/setter属性 3.只带getter属性 4.对象私有字段 5.bean属性 6.辅助构造器 7.主构造器 8.嵌套类 阅读全文
摘要：
1.构造映射 2.获取映射中的值 3.更新映射中的值 4.迭代映射 5.元祖 7.拉链操作 阅读全文
摘要：
1.定长数组 2.变长数组：数组缓冲 3.遍历数组和数组缓冲 4.数组转换 阅读全文
摘要：
1.声明变量：val var 2.数据类型 3.if条件表达式 scala中没有switch语句，但是有强大的模式匹配 4.块表达式和赋值 5.输入和输出 6.while循环、for循环 7.高级for循环和for推导式 8.函数 9.默认参数与带名参数 10.变长参数 11.过程 12.懒值 13 阅读全文
摘要：
1.map 一条一条读取 2.flatMap 扁平化 3.mapPartitions 一次读取一个分区数据 4.mapPartitionsWithIndex 一次读取一个分区数据，并且知道是哪个分区的 5.reduce 6.reduceBykey 7.union 合并，但不去重 8.join 9.g 阅读全文
摘要：
Spark Streaming 一、大数据实时计算 1.实时计算 Spark Streaming ,其实就是一种spark提供的，对于大数据，进行实时计算的一种框架。他的底层，其实也是基于我们之前讲解的Spark core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，他的底层的组件或者 阅读全文
摘要：
Spark SQL 一、sparkSQL的特点 1.支持多种数据源：hive RDD Partquet JSON JDBC 2.多种性能优化技术：in-memory columnar storage \ byte-code generation \ cost model 动态评估 3.组件扩展性：对于SQL的语法解析器、分析器、以及优化器，用户都可以自己重新开发，并且动态扩展 Spark sq... 阅读全文
摘要：
SPARK核心编程 一、spark基本工作原理与RDD 1.Spark的基本工作原理 1.分布式（RDD的partition） 2.主要是基于内存（少数情况下数基于磁盘） 3.迭代式计算（RDD->RDD->RDD） 客户端（client）：我们在本地编写了spark程序，然后必须在某台能够连接spark的机器上提交spark程序 Spark程序被提交到spark集群上进行运算 spark... 阅读全文