大数据总览

Hadoop

Hadoop 主要用来存储和计算，但其计算能力相对较弱

Hadoop一般用两种数据库：

1.hive （sql）

2.hbase（no sql）

Hadoop组成

1.hdfs存储

特点：容量可变，数据冗余，存储分割

2.MapReduce计算

3.yarn 资源调度（cgroup）

每一部分是独立模块，可以独立运行

scala

编程语言

spark

计算引擎

 

计算分两种：

1.离线计算

2.流式计算

 

云计算——多台电脑同时运算

 

反向代理服务器 日志数据

 

计算机做了几件事？

1.存储数据

2.处理数据

3.传输数据