大数据学习路线
************************************************************************************
第一阶段:基础学习
-------------------------
1、计算机基础知识(4颗星)
作为一个计算机从业者,首先必须具备相应的计算机基础知识,包括:
操作系统知识
计算机网络知识
数据结构及算法
数据库基本知识
Linux常用命令
----------------------------
2、语言基础(4颗星)
必须要熟练一门语言,大数据主要使用的编程语言是Java、Scala、Python以及SQL,不仅要会用,而且要理解透彻:
Java语言,JVM虚拟机, 线程,集合等
Scala语言
Python语言
SQL语言以及基本调优,主要是Hive SQL
************************************************************************************
第二阶段:大数据框架
---------------------------------
1、大数据入门Hadoop生态体系(5颗星)
主要掌握分布式数据处理,存储的思想,以及会写一些简单的MR任务:
Hadoop生态圈的全貌
MR,Yarn,HDFS的工作过程
Zookeeper架构以及原理
数据采集的对应框架Sqoop,Flume;
任务平台Oozie和Azkaban,主要是了解工作原理;
----------------------------
2、数据仓库建模方法理论(5颗星)
数仓分层理论
星型模型、雪花模型、逆三泛式建模
连链表通用模板、开链,闭链,卡拉链
数据核验原理
----------------------------
3、离线数据处理(5颗星)
主要围绕Hive,Spark的学习
Hive的基本架构以及工作流程
Hive的基本调优
Spark的基本架构以及工作流程
Spark的基本调优
数据倾斜的处理
----------------------------
4、实时数据处理(4颗星)
主要围绕Spark Streaming和Flink进行学习
Spark streaming的基本架构以及工作流程
Spark streaming的基本调优
Flink的基本架构以及工作流程
Flink的基本调优
Hbase的基本架构
Kafka消息队列
----------------------------
5、数据治理(3颗星)
元数据管理
数据质量监控
数据存储治理
数据计算治理
------------------------------
6、算法与SQL(5颗星)
Leetcode热门100题
牛客在线编程热门100题(基本覆盖了面试的时候遇到的70%-80%的题目)
剑指offer的67题
leetcode的SQL练习
************************************************************************************
三、课程资料推荐
视频课程
现在很多人都会在互联网上寻找一些学习的资料,但是很多资料的质量其实远没有达到我们的预期。
尤其主次不分明,讲得不够精华,这对于我们刚要入门的小白来说非常不利。
这么多资料一下子全学基本都只能懂得一些皮毛,而且还比较浪费时间。
像我的大数据课程,是非常适合小白零基础的学习。
5个月时间,就能完成大数据转型。
课程内容从理论到源码,从源码到性能调优,从性能调优再到实践。
还提供大数据学习过程中的硬件设备(集群服务器,这点是很多机构都没有的!)
关于职业建议方面,可以添加青牛老师,希望可以帮助到你
************************************************************************************
面试资料
学完上面的知识之后,想要拿到好的实习或者秋招offer是离不开面试的,
并且面试其实是有一些前人的知识可以总结和沉淀的。
我做了一些大数据的笔记以及总结了面试常出现的知识点,
包括你们到职场之后,在大数据这个领域摸爬滚打需要的基础知识,我都做了总结。
有需要的小伙伴也可以添加微信获取。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具