Hadoop-1.2.1 安装步骤小结(ubuntu)
1、安装ubuntu系统
如果不使用云服务器,可以使用虚拟机WmWare安装,具体安装步骤这里就不讲了,ubuntu系统下载地址:http://www.ubuntu.com/download/desktop
2、修改源列表(非必要步骤)
ubuntu的源列表默认是欧洲服务器,下载JDK之类的开源工具比较慢,建议大家修改下:
备份源列表,并修改文件:
sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup gedit /etc/apt/sources.list
在打开的图形界面中,删除原来的所有内容,粘贴以下内容:
deb http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse deb http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ vivid main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ vivid-security main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ vivid-updates main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ vivid-proposed main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ vivid-backports main restricted universe multiverse
最后update以下生效:
apt-get update
这里主要使用阿里云的源,其他源可以参考:http://wiki.ubuntu.org.cn/%E6%BA%90%E5%88%97%E8%A1%A8
3、安装JDK
建议在安装前使用root用户权限,切换root权限使用命令:sudo -i
安装JDK通过以下命令:
apt-get install openjdk-7-jdk
安装完成后还需要修改环境变量,编辑/etc/profile文件,使用gedit /etc/profile,在文件中新增如下环境变量(JAVA_HOME需自己根据实际情况修改):
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386 export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
改完别忘了使用source命令使修改生效:
source /etc/profile
4、安装Hadoop-1.2.1
进入到opt目录下,下载hadoop使用wget命令:
wget http://mirrors.aliyun.com/apache/hadoop/core/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载完成以后,解压:
tar zxvf hadoop-1.2.1.tar.gz
5、修改Hadoop配置
进入到opt/hadoop/conf目录下,修改四个配置文件:
hadoop-env.sh(修改JAVA_HOME为实际安装目录):
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386
core-site.xml(ubantu为本机主机名,可以使用hostname命令获知):
<configuration> <property> <name>fs.default.name</name> <value>hdfs://ubuntu:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/hadoop</value> </property> <property> <name>dfs.name.dir</name> <value>/hadoop/name</value> </property> </configuration>
hdfs-site.xml:
<configuration> <property> <name>dfs.data.dir</name> <value>/hadoop/data</value> </property> </configuration>
mapred-site.xml(ubantu为本机主机名,可以使用hostname命令获知):
<configuration> <property> <name>mapred.job.tracker</name> <value>ubuntu:9001</value> </property> </configuration>
6、安装SSH服务(非必要步骤)
只针对没有安装ssh服务的情况,可以使用ps -e|grep ssh查看是否已经安装ssh服务:
安装ssh-server使用如下命令:
apt-get install openssh-server
启动SSH服务:
service ssh start
修改ssh为密码登陆:
输入"sudo gedit /etc/ssh/sshd_config"-->回车-->把配置文件中的"PermitRootLogin without-password"加一个"#"号,把它注释掉-->再增加一句"PermitRootLogin yes"-->保存,修改成功。
7、启动并验证
格式化namenode,进入hadoop-1.2.1/bin目录下,键入以下命令:
hadoop namenode -format
启动hadoop:
start-all.sh
可能要求输入root密码,如果提示验证失败,请使用passwd命令重置root密码
最后通过JPS命令查看java进程,出现以下进程则表示成功:
3869 DataNode 4302 TaskTracker 4048 SecondaryNameNode 4132 JobTracker 5075 Jps 3601 NameNode