hadoop1.2.1测试环境搭建
Hadoop测试环境搭建
使用虚拟机建立3个Linux虚拟机:
Node01:
Ip:192.168.159.130
Username/passwd:root/123456
Node02:
Ip: 192.168.159.131
Username/passwd: root/123456
Node03:
Ip:192.168.159.132
Username/passwd:root/123456
集群需要使用ssh无秘钥的方式登录?
答:参考http://www.linuxidc.com/Linux/2014-01/95917.htm
克隆的主机不能ping通第一个主机?
1) 五种网络连接方式
桥接模式
NAT模式
仅主机模式
自定义
LAN区段
克隆的虚拟机不能联网?
1、删除/etc/udev/rules.d/70-persistent-net.rules文件
然后重启。
2、使用桥接模式联网。建议
修改主机名
http://blog.csdn.net/prepared/article/details/72834680
怎么配置jdk、怎么配置ssh无密码登录、怎么安装hadoop?
http://www.linuxidc.com/Linux/2013-05/85007p3.htm
三种方式:
单节点方式配置
伪分布式配置
下载:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
mv hadoop-1.2.1.tar.gz /opt
tar –zxvf hadoop-1.2.1.tar.gz
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=$JAVA_HOME/jre
export HADOOP_HOME=/opt/hadoop-1.2.1
exportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/bin:$CLASSPATH
exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
使之生效:
Source /etc/profile
<!--core-site.xml -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<!--hdfs-site.xml -->
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<!--Mapred-site.xmlà
<property>
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
hadoop移动到node02、node03
scp -r /opt/hadoop-1.2.1/ root@node02:/opt/hadoop-1.2.1/
scp -r /opt/hadoop-1.2.1/ root@node03:/opt/hadoop-1.2.1/
jdk移动到node02、node03
scp -r /usr/java/jdk1.8.0_131 root@node02: /usr/java/jdk1.8.0_131
scp -r /usr/java/jdk1.8.0_131 root@node03: /usr/java/jdk1.8.0_131
测试:
http://blog.csdn.net/lsxy117/article/details/47359209
上传文件:hadoop fs -put /home/zhongsb/test1.txt /in
参考:
http://blog.csdn.net/lsxy117/article/details/47359209
http://www.linuxidc.com/Linux/2013-05/85007p3.htm
http://www.linuxidc.com/Linux/2014-01/95917.htm
http://blog.csdn.net/prepared/article/details/72834680