奈学教育《大数据架构师》课程大纲
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等),对这些基础技 术知识动态的排列组合,形成大数据全局架构观,并深入讲述大数据全局架构设计的方方面面,打 造真正满足企业万亿级海量数据规模的数据中台,真正赋能前台业务。同时,在企业万亿级真实项 目落地环节,采用高性能、高可用、高扩展的架构设计原则,技术上更是融合了企业级主流的离线 架构和实时架构,带领大家构建PB级的大数据中台,真正落地“企业千亿级的数据仓库中台”,实现 “企业级数据中心平台”,搞定“企业千亿级广告统一数据流智能分析平台”,掌握“企业级Hadoop平 台全方位二次源码开发”,让学员面对企业各种海量复杂业务场景,给出优雅的大数据架构设计方 案,从而真正成为企业级大数据架构师!
第一阶段:分布式协调组件 |
||
第一单元 |
掌握ZooKeeper的核心设计 |
1. ZooKeeper生态体系结构 |
第二单元 |
掌握ZooKeeper服务端源码流程 |
1. ZooKeeper启动流程源码深度剖析 |
第三单元 |
掌握ZooKeeper客户端源码流程 |
1. 客户端启动流程源码剖析 |
第四单元 |
掌握ZooKeeper企业应用 |
1. ZooKeeper写数据流程源码剖析 |
第二阶段:大数据基础平台 |
||
第五单元 |
掌握HDFS的核心架构设计 |
1. HDFS架构优势 |
第六单元 |
掌握HDFS集群启动流程 |
1. NameNode启动流程源码剖析 |
第七单元 |
掌握HDFS元数据管理流程 |
1. HDFS元数据管理流程源码深度剖析 |
第八单元 |
掌握HDFS数据读写流程 |
1. HDFS写数据流程源码剖析源码深度剖析 |
第九单元 |
掌握MapReduce的核心架构设计 |
1. MapReduce核心架构设计 |
第十单元 |
掌握MapReduce的核心源码流程 |
1. Shuffle源码深度剖析 |
第十一单元 |
掌握YARN核心架构设计原理 |
1. YARN架构设计 |
第三阶段:分布式数据仓库
第三阶段:分布式数据仓库 |
||
第十二单元 |
掌握Hive核心组件以及调优技巧 |
1. Hive运行流程深度剖析 |
第四阶段:分布式列式数据库
第四阶段:分布式列式数据库 |
||
第十三单元 |
掌握HBase核心架构设计原理 |
1. HBase架构设计优势 |
第五阶段:分布式消息系统
第五阶段:分布式消息系统 |
||
第十四单元 |
掌握Kafka架构设计优势 |
1. Kafka架构设计优势 |
第十五单元 |
掌握服务端源码核心设计 |
1. Kafka服务端源码之集群启动源码深度剖析 |
第十六单元 |
掌握Kafka企业级调优技巧 |
1. Kafka服务端源码之请求处理源码深度剖析 |
第六阶段:分布式日志采集系统
第六阶段:分布式日志采集系统 |
||
第十七单元 |
掌握Flume/Canal核心组件原理 |
1. Flume核心组件源码深度剖析 |
第七阶段:快速通用的分布式计算引擎
第七阶段:快速通用的分布式计算引擎 |
||
第十八单元 |
掌握Spark内核任务执行流程 |
1. Spark核心架构原理 |
第十九单元 |
掌握Spark内核企业级调优 |
1. SparkCore源码深度剖析 |
第二十单元 |
掌握SparkSQL核心组件原理 |
1. SparkSQL核心组件深度剖析 |
第二十一单元 |
掌握SparkStreaming核心流程 |
1. SparkStreaming核心流程深度剖析 |
第二十二单元 |
掌握Spark核心开发原理 |
1. Spark企业案例实践 |
第八阶段:新一代的分布式计算引擎
第八阶段:新一代的分布式计算引擎 |
||
第二十三单元 |
掌握Flink核心运行流程 |
1.Flink核心流程深度剖析 |
第二十四单元 |
掌握Flink核心源码流程 |
1.Flink核心源码深度剖析 |
第二十五单元 |
掌握Flink核心技术实践 |
1.Flink核心流程深度剖析 |
第九阶段:大数据全局架构设计
第九阶段:大数据全局架构设计 |
||
第二十六单元 |
掌握大数据全局架构设计思想 |
1.Lambda架构原理深度剖析 |
第二十七单元 |
掌握大数据中台落地实践方案 |
1.大数据中台原理深度剖析 |
第二十八单元 |
掌握大数据中台企业案例实践 |
1.大数据中台数据采集流程案例实践 |
第十阶段:企业级大型项目落地
第十阶段:企业级大型项目落地 |
||
第二十九单元 |
掌握千亿级数仓库架构设计 |
1.数仓分层设计 |
第三十单元 |
掌握千亿级数仓库方案落地 |
1.数据采集案例实践 |
第三十一单元 |
掌握企业级Hadoop平台源码二次开发 |
1.企业级Hadoop平台稳定性痛点剖析 |
第三十二单元 |
掌握企业级Hadoop平台源码二次开发 |
1.企业级Hadoop平台稳定性痛点剖析 |
第三十三单元 |
掌握PB级X2C电商用户画像系统架构设计 |
1.用户画像系统需求分析 |
第三十四单元 |
掌握PB级X3C电商用户画像系统方案实践 |
1.用户画像系统标签合并 |
第三十五单元 |
掌握千亿级广告统一数据流分析平台痛点方案设计 |
1.数据流分析平台需求分析 |
第三十六单元 |
掌握千亿级广告统一数据流分析平台方案实践 |
1.数据流分析系统架构方案落地 |
第三十七单元 |
掌握企业级分布式内存对象缓存系统数据中心架构设计 |
1.高复用逻辑封装与高可用数据存取服务设计 |
第三十八单元 |
掌握企业级分布式内存对象缓存系统数据中心方案实践 |
1.企业级分布式内存对象缓存系统代码落地 |
相关课程推荐: