hadoop三种安装模式的基本原理

 

Hadoop的安装详情查看本博客本专栏内其它文章

一、三种安装模式的运行原理:
1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。
2.伪分布式模式： Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
3.分布式模式：使用多个节点构成集群环境来运行Hadoop。

二、Hadoop基本安装配置主要包括以下几个步骤:
1.创建Hadoop用户(就是一个系统shell用户、用来Hadoop工作的，当然也可以root)

sudo useradd -m hadoop -s /bin/bash    #创建用户
sudo passwd hadoop #设置密码
sudo adduser hadoop sudo  #增加管理员权限

 

2.SSH登录权限设置(配置Hadoop之间无密码连接)
3.安装java环境
4.单机安装配置
5.伪分布式安装

三、安装模式详解：
1.单机安装：直接解压稍加配置进入bin运行即可。

2.伪分布式安装：Hadoop在单节点上以伪分布式的方式运行、Hadoop进程以分离的Java进程来运行，节点即为NameNode也作为DataNode，同时、读取的是HDFS中的文件。
需要修改的配置文件：core-site.xml和hdfs-site.xml、mapred-site.xml,每个配置以声明property的name和value的方式实现。
修改完之后初始整个文件系统命令: hadoop namenode -format
启动所有进程：start-all.sh
查看进程:jps
访问web、查看Hadoop信息。
知识原理:
(1).core-site.xml文件中：
中的hadoop.tmp.dir是设置存放目录、下一个将是具体值
中的tmp是临时目录
第二个的fs.defaultFS是设置整个hdfs路径的逻辑的名称，下一个value将是具体值。
(2). hdfs-site.xml中：
dfs.replication表示副本的数量(因为要保证冗余性、每个数据块都会有好几个副本,默认为3)、伪分布式要设置为1(在下一个value中设置，因为只有一台机器所以一个节点所以设置为1)；
dfs.namenode.name.dir  表示本地磁盘目录、是存储fsimage文件的地方(在下一个value中设置)；
dfs.datanode.data.dir  表示本地磁盘目录、HDFS数据存放block的地方(在下一个value中设置，block(块)是HDFS的基本单本)。
(3).当然、具体请移步安装博文。伪分布式安装

3.全分布式安装:全分布式安装