Hadoop的伪分布安装步骤：
设置静态的ip
在centos 桌面右上角的图标上，右键修改
重启网卡，执行命令service network restart
验证：执行ifconfig
修改主机名：
修改当前会话中的主机名，执行命令hostname hadoop
修改配置文件中的主机名，执行vi /etc/sysconfig/network
把hostname和ip绑定
执行命令 vi /etc/hosts,增加一行内容，如下
192.168.80.100 hadoop
保存退出
关闭防火墙
执行命令：service iptables stop
验证：service iptables status
关闭防火墙自动运行
执行命令：chkconfig iptables off
验证： chkconfig --list | grep iptables
SSH(secure shell)的免密码登录
- 执行命令 ssh-keygen –t rsa 产生秘钥，位于~/.ssh文件中
- 执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/autorize_keys
- 执行命令 rm –rf /usr/local/* 把usr/local文件夹下所有的东西都删除
- 使用winscp把jdk文件从window复制的linux上
- 执行命令授予执行权限 chmod u+x jdk-xxxxxx
- 进行解压缩操作 ./jdk-xxx-xxx-xxx(需要在当前目录下)
- 重命名 mv jdk1.62xx jdk
- 配置java环境 vi /etc/profile
安装jdk
a) export JAVA_HOME=/usr/local/jdk
b) export PATH=.:$JAVA_HOME/bin:$PATH
- 让java环境生效 source /etc/profile
多次格式化hadoop也是错误的
解决方法： 删除/usr/local/hadoop/temp文件夹，重新格式化。
安装hadoop
- 解压缩 tar –zxvf hadoop-1.1.2.tar.gz
- 重命名 mv hadoop-1.1.2 hadoop
- 配置hadoop环境
a) export HADOOP_HOME=/usr/local/hadoop
b) export PATH=.: $HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
c) export HADOOP_HOME_WARN_SUPPRESS=1
- 修改hadoop的配置文件（为了伪分布）。位于$HADOOP_HOME/conf目录下的
修改四个配置文件，分别为 hadoop-env.sh , core-site.xml , hdfs-site.xml , mapred-site.xml
具体修改内容
hadoop-env.sh 第九行
export JAVA_HOME=/usr/local/jdk
core-site.xml如下：
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml修改如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml修改如下：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop0:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
- 对haoop进行格式化 执行命令 hadoop namenode –format
- 执行命令 start-all.sh 启动hadoop
