体验Hadoop3.0生态圈-CDH6.1时代的来临

　　　　　　　　　　　　体验Hadoop3.0生态圈-CDH6.1时代的来临

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

　　我在公司使用的是CDH5.15.1这个发行版本，具体的部署文档之前也有给大家分享过。Cloudera成立于2008年，在企业和大型机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。2018年10月，均为开源平台的Cloudera与Hortonworks公司宣布他们以52亿美元的价格合并。

　　由于最近在学习DBA相关的知识技能，托更了关于CDH6.0的实战部署笔记。不过没关系，我会把CDH6.X的一些新特性和整个部署过程娓娓道来。其实部署方法和之前分享的笔记大同小异~安装部署笔记，可参考官网：https://www.cloudera.com/documentation/enterprise/6/6.1/topics/installation_reqts.html#pre-install。

 

 

一.CDH6.1的新特性

1>.支持两个以上的NameNode；

2>.

3>.

4>.

5>.

6>.

7>.

 

二.下载CDH和CM

1>.CDH的选择

　　下载地址：https://archive.cloudera.com/cdh6/6.1.0/parcels/。

2>.CM的选择

　　下载地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/。

 

 3>.cdh中的hadoop组件

 　　cdh6.1中的组件  : https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/.

　　cdh5.15中的组件：https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/

 

 

三.安装前准备

　　准备一台服务器10G内存左右即可。