大数据——粗谈Hadoop生态系统

首先,我们来介绍一下什么是Hadoop。

 

 

Hadoop最核心的部件有两个,一为HDFS,所谓的HDFS,就是分布式的文件存储系统。

二为Mapreduce,即为分布式的计算系统(分布式离线的计算框架)。

上述的两个部件,解决了大数据的存储问题,还有解决了大数据的计算问题。

剩下的基本上都是这两个所衍生出来的工具。

Maperduce的编程语言:

1、Jave(最原始的方式)

2、Hadoop Streaming(支持多语言)

3、Hadoop Pipes(支持C和C++)

Mahout提供的算法:分类、聚类、频繁模式挖掘、向量相似度计算、推荐引擎、降维、进化算法、回归分析等

Hive:是构建在Hadoop之上的数据仓库,用于解决海量结构化的日志数据的统计问题,其语言结构HQL,类似于SQL,但又不完全相同。

Pig:基于Hadoop的数据流执行引擎,利用MapReduce并行处理数据,使用Pig Latin语言表达数据流

Hive:即就是Hive2(Stinger),底层的算法引擎由Tez(DGA计算框架)替换MapReduce

Impala:可直接处理存储在HDFS上的数据,并在次写入数据到HDFS,具有良好的扩展性和容错性,适合快速交互式查询。

Oozie:

posted @ 2019-10-24 20:57  Xa_L  阅读(70)  评论(0编辑  收藏  举报