摘要: 一、Spark Core 1、什么是Spark?特点 二、安装和部署Spark、Spark 的 HA 1、spark体系结构 2、spark的搭建 3、Spark的 HA 三、执行Spark的任务:两个工具 1、spark-submit:用于提交Spark的任务 2、spark-shell 相当于REPL 四、WordCount(scala版本和java版本) 1、scala版本的WordCount 2、java版本的WordCount 五、分析Spark的任务流程 1、分析WordCount程序处理过程 2、Spark调度任务的过程 六、RDD和RDD特性、RDD的算子 1、RDD:弹性分布式数据集 2、 算子 3、RDD的集合运算 4、分组操作:reduceByKey 5、cogroup 6、reduce操作(Action) 7、需求:按照value排序 七、RDD的高级算子 1、mapPartitionsWithIndex 2、aggregate 八、编程案例 1、分析日志 2、创建自定义分区 3、使用JDBCRDD 操作 阅读全文
posted @ 2019-04-08 14:09 hsiehchou 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 一、Scala函数式编程 1、复习函数 2、匿名函数 3、高阶函数(带有函数参数的函数) 4、高阶函数的实例 5、概念:闭包、柯里化 二、Scala集合 1、可变集合和不可变集合(Map) 2、列表:可变列表,不可变列表 3、序列 4、集(Set) 5、模式匹配 6、样本类 三、Scala高级特性 1、泛型 1)泛型类 2)泛型函数 3)上界和下界 4)视图界定 View bounds 5)协变和逆变(概念) 2、隐式转换 阅读全文
posted @ 2019-04-08 14:07 hsiehchou 阅读(143) 评论(0) 推荐(0) 编辑
摘要: Actor并发模型 实现一个主从管理系统 阅读全文
posted @ 2019-04-08 14:07 hsiehchou 阅读(76) 评论(0) 推荐(0) 编辑