Hadoop安装简易手记
公司都开始打上2.0标签了,开始转型乘上互联网的船了,虽然有点晚,但总比当奥特曼强。也开始灌输我们要学Hadoop、Android、IOS了。
虽然咱每天工单多项目紧,咱也要紧跟步伐学起来,万一那天拖后腿被抛弃了呢?咱还得养一大家子呢。
公司提供了一个《Hadoop深入浅出高清视频课程》课程,不得不吐槽公司的在线学习平台做得有够差,课程列表排序乱七八糟,没有课程相关的资料软件,视频还是链到土豆的。在线看了几课后,发现讲师的主页(吴超沉思录),这下视频工具都有的下了 (猛戳下载)。这下爽歪歪了。
废话不多少。Hadoop安装手记如下,详细观看语速极快讲解细致方言口音的老师视频。
安装虚拟机和小红帽后
1.host_only方式 ip 配置
vi
/etc/sysconfig/network-scripts/ifcfg-eth0
修改内容如下
IPADDR=192.168.80.100
PREFIX=24
GATEWAY=192.168.80.1
service network
restart
2.修改主机名 hostname
vi
/etc/sysconfig/network
修改内容如下
HOSTNAME=hadoop
3.hosts
vi /etc/hosts
修改内容如下
192.168.80.100
hadoop
4.关闭防火墙
service iptables
status
service iptables
stop
5.关闭防火墙自动允许
chkconfig --list |
grep iptables
chkconfig iptables
off
6.SSH免密码登录
ssh-keygen -t rsa
cd ~/.ssh
cp id_rsa.pub authorized_keys
ssh localhost
7.安装jdk
cd
/usr/local
chomd +x
jdk-6u24-linux-i586.bin
./jdk-6u24-linux-i586.bin
vi /etc/profile
修改内容如下
export
JAVA_HOME=/usr/local/jdk1.6.0_24
export
PATH=.:$JAVA_HOME/bin:$PATH
source
/etc/profile
8.安装Hadoop
tar -zxvf
hadoop-1.1.2.tar.gz
vi /etc/profile
vi /etc/profile
修改内容如下
export
HADOOP_HOME=/usr/local/hadoop-1.1.2
export
PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
9.修改配置文件
conf/hadoop-env.sh
export
JAVA_HOME=/usr/local/jdk1.6.0_24
core-site.xml
将《》用<>替换
《configuration》
《/configuration》
hdfs-site.xml
《configuration》
《/configuration》
mapred-site.xml
《configuration》
《/configuration》
10.格式化文件系统
hadoop namenode
-format
11.启动Hadoop
start-all.sh
查看进程
Jps
5346
TaskTracker
5497 Jps
5170
SecondaryNameNode
4958
NameNode
5063
DataNode
查看WEB
http://hadoop:50070 NameNode
http://hadoop:50030 JobTracker
12.去除警告
vi
/etc/profile
修改内容如下
export
HADOOP_HOME_WARN_SUPPRESS=1