大数据基础---ClouderaManager和CDH是什么？

1.CDH概述

CDH（Cloudra's Distribution Apache Of Hadoop）是Apache Hadoop和相关项目的最完整，经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件，并且是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

CDH提供

• 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。
• 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
• 安全性-处理和控制敏感数据。
• 可扩展性-启用广泛的应用程序并进行扩展，并扩展它们以满足您的要求。
• 高可用性-自信地执行关键任务业务任务。
• 兼容性-利用您现有的IT基础架构和投资。

Hadoop生态构成

• HDFS:分布式文件系统
  • ZKFC：为实现NameNode高可用，在NameNode和Zookeeper之间传递信息，选举主节点工具。
  • NameNode：存储文件元数据
  • DateNode：存储具体数据
  • JournalNode：同步主NameNode节点数据到从节点NameNode
• MapReduce:开源的分布式批处理计算框架
• Spark：分布式基于内存的批处理框架
• Zookeeper:分布式协调管理
• Yarn:调度资源管理器
• HBase：基于HDFS的NoSql列式数据库
• Hive：将SQL转换为MapReduce进行计算
• Hue：是CDH的一个UI框架
• Impala：是Cloudra公司开发的一个查询系统，类似于Hive，可以通过SQL执行任务，但是它不基于MapReduce算法，而是直接执行分布式计算，这样就提高了效率。
• oozie:是一个工作流调度引擎，负责将多个任务组合在一起按序执行。
• kudu：Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用，可以进行增删改查。
• Sqoop：将hadoop和关系型数据库互相转移的工具。
• Flume：采集日志
• 还有一些其它的

CDH结构图

2.Cloudra Manager概述

Cloudra Manager简称CM，它是一个web操作平台，可以借助安装CDH然后安装多种Hadoop框架。

CloudraManager技术构成

Clients:客户端，通过web页面和ClouderaManager和服务器进行交互。

API：通过API和ClouderaManagement和服务器进行交互

Cloudera Repository：存储分发安装包

Management Server：进行监控和预警

Database：存储预警信息和配置信息。

Agent：分布在多台服务器，负责配置，启动和停止进程。监控主机。

结构图如下：

系列传送门