大数据基础——大数据处理架构Hadoop

大数据基础——大数据处理架构Hadoop **组件** **功能**

功能

HDFS 分布式文件系统

分布式文件系统

MapReduce 分布式并行编程模型

分布式并行编程模型

YARN 资源管理和调度器

资源管理和调度器

Tez 运行在YARN之上的下一代Hadoop查询处理框架

运行在YARN之上的下一代Hadoop查询处理框架

Hive Hadoop上的数据仓库

Hadoop上的数据仓库

HBase Hadoop上的非关系型的分布式数据库

Hadoop上的非关系型的分布式数据库

Pig 一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin

一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin

Sqoop 用于在Hadoop与传统数据库之间进行数据传递

用于在Hadoop与传统数据库之间进行数据传递

Oozie Hadoop上的工作流管理系统

Hadoop上的工作流管理系统

Zookeeper 提供分布式协调一致性服务

提供分布式协调一致性服务

Storm 流计算框架

流计算框架

Flume 一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统

Ambari Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控  

Hadoop快速部署工具，支持Apache Hadoop集群的供应、管理和监控

Kafka 一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据

一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作流数据

Spark 类似于Hadoop MapReduce的通用并行框架

类似于Hadoop MapReduce的通用并行框架