hadoop大数据分析与挖掘实战（读书笔记2）

8/8(2)这个第二章节就是讲安装Hadoop

8/9(3)非常痛苦

安装hadoop前的设置

（1）昨天很快的配置了VMWARE网络，但是一开始就是错的。一开始我的网关地址就是和书上的不一样。

但是子码掩码是一样的，但是我用了书上的网关地址。

（2）然后就是非常正常的操作，一气呵成的操作。

1.useradd hadoop 2.passwd hadoop  

3.chmod u+w /  4.vim /etc/sudoers

在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) ALL

chmod u -w /etc/sudoers

（3）之后就是设置静态IP

也是在这里把网关地址设置错了。

（4）修改etc/sysconfig/network

这里也是把网关的地址修改错了，网关错误。

（5）修改DNS信息也是没有修改全

而且莫名其妙的是为什么DNS的要修改成网关的地址。

还要写个search bogon下去?

（6）然后修改了etc/host 里面的内容

把什么master slave 设置了，但是是按照书本设置的，所以地址肯定是错的。

 shhd服务必须要启动service network

然后sudo scp /etc/host root@slave1:/etc这个语句执行不了，因为没有网络服务。但是不一定，因为可能是两个slave的

ip地址没有设置好的问题。而且我也没有去试试。我要先明确一点，必须先搞定service network restart的问题。确定可以联网。

才可以连接sshd。

所以以上的种种设置，可能需要结合我的机器的情况设置。但是没有，所以就一直一直一直一直

无法service network restart。无法启动各项网络任务。

于是经过了重重关卡，我终于成功启动service network!

 有几个重要的文件需要处理 /etc/sysconfig/network-scripts/ifcfg-ens33 我重修改成了：

然后还有etc/sysconfig/network

我全部用一个#注释掉了。

还有etc/resolv.conf

也是全部一个#注释掉了。而且最重要的，操作完后，一定一定要重启！重启！重启！重启！重启！重启！

最后终于成功了！！！

这是配置。

 

结果万万没有想到，今天重新打开，一样的ifcfg-ens33

一样的network 一样的resolv.conf，然后居然重启网络失败。非常困惑。

打开IP ADDR 没有看到地址。

其实问题也不难，就是需要清楚一点。这里有三个虚拟机，共用一张网卡吗？不行

所以需要注释掉两个 奴隶机 的UUID 和 硬件地址，顺便把设备名字也注释掉。然后重启，按顺序开机。

转换思路1：

结果折腾了很久很久，都不得上网。所以我放弃，转换思路。安装几个不同的 不是彼此克隆 都是独立安装的centos。

之前原来安装 centos 的时候，发现一直是最小安装，原来可以搭上桌面没有必要去yum intsall 一个桌面。而且配置网络也是，

一开始就可以把主机名，静态IP，DSN设置好。（关于DSN可以查这：https://www.douban.com/note/373697762/）

目前就用114.114.114.114。

然后用ssh slave的ip 结果出错。

 

不能用克隆主机制造奴隶机，必须独立安装奴隶机。

在等待了些许时间后，总算装好了一个主人机，和一个奴隶机。都是独立安装，所以终于不存在上网问题了。

然后用SSH 的时候，也可以连接。但是需要密码。所以现在需要免登录SSH。

至于免登录系统，实在是很难。因为我已经把把公匙考到了.ssh文件夹里去了。但是仍然提示要登陆密码。

终于解决了这个ssh 免登录的问题。用cat 检查了日志之后发现一点奇怪之处。

发现checking getaddrinfo 出错，invalid user sam...所以我猜测应该是/etc/hosts 文件没写好。果然

我/etc/hosts 文件里 192.168.133.150 Master 是错误的，正确的应该是  192.168.133.151 Master。

后来重新生成了密匙后，拷贝过去，成功了。

 

然后安装hadoop,然后做了相关的配置。

码下了hdfs namenode -format 找不到命令。

然后 start -dfs.sh 这个命令产生了很多问题。

start -yarn.sh 这个命令也产生了很多问题。

然后这个jps 是有反应的。但是

slave 机没有反应。