摘要:
一、Spark Core
1、什么是Spark?特点
二、安装和部署Spark、Spark 的 HA
1、spark体系结构
2、spark的搭建
3、Spark的 HA
三、执行Spark的任务:两个工具
1、spark-submit:用于提交Spark的任务
2、spark-shell 相当于REPL
四、WordCount(scala版本和java版本)
1、scala版本的WordCount
2、java版本的WordCount
五、分析Spark的任务流程
1、分析WordCount程序处理过程
2、Spark调度任务的过程
六、RDD和RDD特性、RDD的算子
1、RDD:弹性分布式数据集
2、 算子
3、RDD的集合运算
4、分组操作:reduceByKey
5、cogroup
6、reduce操作(Action)
7、需求:按照value排序
七、RDD的高级算子
1、mapPartitionsWithIndex
2、aggregate
八、编程案例
1、分析日志
2、创建自定义分区
3、使用JDBCRDD 操作 阅读全文
摘要:
一、Scala函数式编程
1、复习函数
2、匿名函数
3、高阶函数(带有函数参数的函数)
4、高阶函数的实例
5、概念:闭包、柯里化
二、Scala集合
1、可变集合和不可变集合(Map)
2、列表:可变列表,不可变列表
3、序列
4、集(Set)
5、模式匹配
6、样本类
三、Scala高级特性
1、泛型
1)泛型类
2)泛型函数
3)上界和下界
4)视图界定 View bounds
5)协变和逆变(概念)
2、隐式转换 阅读全文
摘要:
Actor并发模型
实现一个主从管理系统 阅读全文