hadoop安装实战（mac实操）

集群环境配置参考（http://blog.csdn.net/zcf1002797280/article/details/49500027）

参考：http://www.cnblogs.com/liuling/archive/2013/06/16/2013-6-16-01.html

http://blog.csdn.net/ab198604/article/details/8250461

使用pssh进行并行批量操作:

http://www.cnblogs.com/wangkangluo1/archive/2013/01/06/2847353.html

关于ssh命令研究以及SSH信任详解

http://www.dongwm.com/archives/%E5%85%B3%E4%BA%8Essh%E5%91%BD%E4%BB%A4%E7%A0%94%E7%A9%B6%E4%BB%A5%E5%8F%8Assh%E4%BF%A1%E4%BB%BB%E8%AF%A6%E8%A7%A3/

一下本人实际操作未完待完善......

环境准备：

1，jdk1.7

下载地址：http://download.oracle.com/otn/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz

下载文件：jdk-7u80-linux-x64.gz

安装mac版本 secureCRT（破解，ssh工具，连接，上传，下载服务器文件等）

上传到linux服务器上 /usr/java目录下面：

tar -zxvf jdk-7u80-linux-x64.gz         解压

 

 

环境变量设置：

编辑 ：vi /etc/profile

文件最后加入：

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:/usr/java/jdk1.7.0_80/bin

保存退出

执行source /etc/profile    使配置生效

－－－－－－－－－－－－－－－－－－－如下截图 －－－－－－－－－－－－

 

 

查看一下java环境变量是否配置成功

java -version

 

jdk安装完成！

 

2，ssh配,问题，ssh localhost 无密码登录失败：（todo集群配置）

解决： 

修改 : /etc/hosts.allow文件，加入 sshd:ALL

重启ssh:  /etc/rc.d/init.d/sshd restart

3，hadoop安装配置

下载地址：http://apache.dataguru.cn/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

crt工具上传到服务器位置：/usr/hadoop/

tar -zxvf hadoop-2.7.1.tar.gz      解压

 

hadoop配置一下文件：（参考 http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html ）

/usr/hadoop/hadoop-2.7.1/etc/hadoop

core-site.xml

mapred-site.xml

hdfs-site.xml

yarn-site.xml

hadoop-env.sh

yarn-env.sh

slaves

 

-----------------------------

配置完成执行

主服务器上执行bin/hdfs namenode -format

进行初始化

sbin目录下执行 ./start-all.sh 

可以使用jps查看信息

停止的话，输入命令，sbin/stop-all.sh

－－－－－－－－－－－－－－－－－

http://10.11.144.217:50070/

访问可以查看HDFS的管理情况