kuainiao

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

hadoop:是java写的一个框架,可以理解成java写的一个应用,他主要是用来分布式存储和分布式计算。

1 为什么需要分布式存储,因为单台设备不够存储,实现办法的hadoop分布式是文件系统hdfs

2 分布式计算:因为数据量很大、一台机器硬件资料有限,实现办法是yarn和MapReduce、yarn是资料的管理系统,MapReduce是把计算分发到yarn是进行处理,为什么需要yarn是因为在计算过程中会出现资源的争夺等等,需要yarn统一管理,MapReduce分两个过程,map和reduce。

 

hadoop的基本组件

1 通用组件、比如rpc调用

2 HDFS分布式文件系统、用来分布式存储。

3 yarn分布式资源管理

4 MapReduce分布式批处理

 

hadoop生态游很多组件

hive

HBASE

spark

等等

posted on 2018-07-27 19:30  kuainiao  阅读(120)  评论(0编辑  收藏  举报
View Code