hadoop框架

大数据概念:

 

 

 

hadoop特点：1大量 2高速3多样4低价值密度

hadoop是什么

 

 

 

 

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。

Apache版本最原始（最基础）的版本，对于入门学习最好。

Cloudera在大型互联网企业中用的较多。

Hortonworks文档较好。

hadoop的优势：

 

 

 

 

hadoop组成:

 

HDFS架构概述

 

 

 

yarn架构概述

 

 

 

MapReduce架构概述

 

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总

 

 

 

集群搭建

1. 新建虚拟机  
2. 修改虚拟机的静态IP
3. 修改主机名
4. 关闭防火墙
5. 创建jinghang用户
 useradd jinghang
 passwd jinghang

6. 配置jinghang用户具有root权限（详见《大数据技术之L
inux》）
 vim /etc/sudoers   91
 jinghang ALL=(ALL) NOPASSWD:ALL

 完成后:wq!

7.在/opt目录下创建文件夹
（1）在/opt目录下创建module、software文件夹
 mkdir /opt/module /opt/software
 (2) 修改module、software文件夹所有者和所属组
  chown jinghang:jinghang /opt/module /opt/software

8.克隆虚拟机
 8.1 关机拍摄快照
 8.2 克隆虚拟机（链接克隆、完整克隆）
 8.3 修改克隆后虚拟机的ip和主机名、ip主机的映射关系（使用脚本完成）
 8.4 克隆虚拟机有两个网卡：
  vim vim /etc/udev/rules.d/70-persistent-net.rules
  1.删除 NAME="eth0"这一行
  2.修改NAME="eth1" -> NAME="eth0" (:wq!)
  3.赋值ADDR地址（mac地址）
  4.进入到
   vim /etc/sysconfig/network-scripts/ifcfg-eth0
   HWADDR=赋值ADDR地址（mac地址）
   :wq!
  5.service network restart (如果失败，reboot)