Linux下Hadoop分布式系统配置

**

我们是要利用4台linux真机（系统均为ubuntu）来配置完全分布式系统，并已知这4台服务器的外网ip与内网ip

**
远程服务器采用xshell软件，上传文件采用xftp；至于查看ubunu里面的文件，可以用editplus，它可以远程到服务器上，查看，修改，拷贝文件很方便

---

具体步骤如下：

将其中一台定为master，先在其上配置

1. 配置IP

修改/etc/hosts文件，加上内网的IP映射，就是固定ip和主机名，ping一下试试

2. 配置ssh免密码登录

ssh-keygen -t rsa   //生成秘钥
ssh-copy-id server2 // 发送秘钥

3. 安装JDK，配置环境变量

修改/etc/profile文件，具体要加哪些东西，之前的博客写过，记得最后要source一下

4. 安装Hadoop

就是从官网下载安装包，然后再Linux下解压，可以新建2个文件夹，一个专门存放tar.gz，另一个放解压后的文件，最后添加Hadoop环境变量

5. 修改Hadoop配置文件

1. hadoop-env.sh
   添加JAVA_HOME
2. core-site.xml
   namenode所在主机fs.defaultFS和tmp目录
3. hdfs-site.xml
4. 配置slave和master

6. 删除cmd和doc文件

cmd是因为比较烦，doc文件太占空间，没啥用

7. 将文件拷贝要其他3台服务器

使用scp命令，后面加上文件路径，具体可以百度一下
要传的文件有：各个安装好的文件（解压文件）、hosts文件、data、jdk、profile文件

8. 在其余几台机子上都source一下

9. 关闭防火墙

如果开启失败，可能防火墙问题，几台可以ping通就不用

10. 格式化

Hadoop namenode -format

11. Hbase配置

上面都是关于Hadoop配置的，hbase也要配置

1. hbase-env.sh 加上环境变量JAVA_HOME
2. hbase-site.xml

12. 拷贝到其他几台服务器

也是使用scp

---

下面为我们项目几台服务器配置后的各个角色分配

server1：Namenode、SNamenode 、Web
server2 ： Datanode 、HBMaster、 HBRegion、HQuorumPeer
server3 ：Datanode、 HBRegion、HQuorumPeer 、Tomcat
server4 ：Datanode 、HBRegion、 HQuorumPeer