2021大数据学习路线

一：JavaSE基础核心

1：Java基础语法

2：面向对象编程

3：集合框架、IO流、异常

4：深入集合源码分析

5：常见数据结构解析

6：线程的安全、同步和通信、IO流体系、反射、类的加载机制、网络编程

7：Java8/9/10/11新特性

8：MySql数据库使用

9：使用JDBC完成数据增删改查操作

10：数据库连接池的原理及应用

11：常用数据库连接池

12：IDEA的安装及使用，常用快捷键和常用设置

 

二：Hadoop生态体系阶段

1：Maven开发工具的使用

2：Linux系统的安装和操作

3：Shell脚本语法

4：大数据分析存储框架Hadoop集群搭建

5：大数据分析存储框架Hadoop之HDFS

6：大数据分析存储框架Hadoop之MapReduce

7：分布式服务管理框架Zookeeper

8：Hadoop框架高可用配置

9：数据仓库工具Hive

10：日志采集传输框架Flume

11：分布式发布-订阅消息系统Kafka

12：Kafka监控器Kafka Eagle

13：非关系型列式存储数据库HBase

14：HBase二级索引创建工具Phoenix

15：数据传输框架Sqoop

16：任务调度框架Oozie

17：任务调度框架Azkaban

18：大数据图形化工具Hue

19：数据查询框架Kylin

20：开源ETL工具Kettle

21：即席查询框架Presto

22：权限管理工具Ranger

23：集群监控工具Zabbix

24：数据可视化工具SuperSet

25：元数据管理Atlas

26：数据质量管理

 

三：Spark生态体系阶段

1：多范式编程语言Scala

2：多范式编程语言Scala 数据结构和算法

3：大数据分析框架Spark 集群搭建

4：大数据分析框架Spark Core

5：大数据分析框架Spark SQL

6：大数据分析框架Spark Streaming

7：异步事件驱动通信框架Netty

8：大数据分析框架Spark 内核解析

9：大数据分析框架Spark 调优解析

10：大数据可视化工具ECharts

11：全文检索引擎ElasticSearch

12：日志收集处理框架Logstash

13：数据可视化工具Kibana

14：阿里云大数据环境安装

15：数据采集工具canal

16：数据采集工具Maxwell

17：利用SpringBoot开发可视化接口程序

18：利用Redis存储临时性计算数据

19：开发工具Git&Git Hub熟练使用

 

四：Flink生态体系阶段

1：大数据分析框架Flink 集群搭建

2：大数据分析框架Flink 运行结构原理

3：大数据分析框架Flink DataStream API

4：大数据分析框架Flink EventTime和Window

5：大数据分析框架Flink 有状态计算

6：大数据分析框架Flink SQL

7：大数据分析框架Flink CEP复杂事件处理

8：使用ClickHouse实现宽表数据的存储

9：结合SpringBoot对接百度suger实现数据可视化大屏展示

 

五：前沿技术

1：开源数据存储框架Druid

2：K8S On Spark/Flink

3：新型列式存储系统Kudu

4：调度工具Airflow/DolphinScheduler

5：全线阿里云大数据开发技术

6：数据湖Hudi