大数据学习路线
目录
目录
第一节：为什么要学习大数据
1、目的：很好工作
2、对比：Java开发和大数据开发
第二节：什么是大数据？
举例：
- 1、商品推荐：
问题：
（1)大量的订单如何存储？
（2)大量的订单如何计算？ - 2、天气预报：
问题：
（1)大量的天气数据如何存储？
（2)大量的天气数据如何计算？
什么是大数据，本质？
（1)数据的存储：分布式文件系统（分布式存储）
（2)数据的计算：分布式计算
第三节：Java和大数据是什么关系？
1、 Hadoop：基于Java语言开发
2、 Spark：基于 Scala语言，Sca1a基于Java语言
第四节：学习大数据需要的基础和路线
1、学习大数据需要的基础：
Java基础（ Javase）---> 类、继承、I/0、反射、泛型
Linux基础（ Linux l的操作）---> 创連文件、目录、vi辑器
2、学习路线
- （1)Java基础和 linux基础
- （2) Hadoop 的学习：体系结构、原理、编程
- 第一阶段：HDFS(分布式文件系统)、 MapReduce(大数据计算程序)、 Hbase( NOSQL数据库）
- 第二阶段：
- 数据分析引警
- 数据采集引--> Scoop、 Flume
- 第三阶段：
- HUE:Web管理工具
- ZooKeeper：实现 Hadoop的HA
- Oozie: 工作流引聱
- （3) Spark的学习
- 第一个阶段：Sca1a编程语言*)
- 第二个阶段： Spark Core -----> 基于内存，数据的计算
- 第三个阶段： Spark SQL 类似oracle中的sqL语句
