从0开始学习Hadoop(2)安装JDK以及设置SSH
- 安装JDK
使用ppa/源方式安装
1.添加ppa
sudo add-apt-repository ppa:webupd8team/java sudo apt-get update
2.安装oracle-java-installer
jdk7
sudo apt-get install oracle-java7-installer
jdk8
sudo apt-get install oracle-java8-installer
修改环境变量
c查看JDK安装位置
update-alternatives - -config java
cd /
cd /etc
suto gedit prifile
#JAVA VARIABLES
#JAVA VARIABLES
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP VARIABLES
#export HADOOP_INSTALL=/usr/local/hadoop
#export PATH=$PATH:$HADOOP_INSTALL/bin
#export PATH=$PATH:$HADOOP_INSTALL/sbin
#export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_HOME=$HADOOP_INSTALL
#export HADOOP_HDFS_HOME=$HADOOP_INSTALL
#export YARN_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
- 创建hadoop用户组
创建hadoop用户
sudo addgroup hadoop
sudo adduser -ingroup hadoop hadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
为hadoop用户添加权限
输入:sudo gedit /etc/sudoers
回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
切换账号
su hadoop
- 设置 HOST
SUDO gedit /etc/hosts
#ADD 这里IP地址重启VB之后有可能变化,需要重新查看桥接网卡IP,在设置
192.168.56.101 master
192.168.56.102 node1
192.168.56.103 node2
192.168.56.102 node1
192.168.56.103 node2
验证
ping master
ping node1
ping node2
- 设置SSH
1)生产公私秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2)复制公私秘钥KEY
cd /.ssh
cat id_dsa.pub >> autohrized_keys
3)单机会还SSH免密码登录测试
ssh localhost
发现问题,链接拒绝,怀疑是防火墙问题或者SSH安装问题。解决:#关闭防火墙service iptables stop#查看防火墙状态service iptables status安装sshsudoapt-get install openssh-server
4) 让主结点(master)能通过SSH免密码登录两个子结点(slave)
操作:node1 node2
cd .ssh/
scp hadoop@master:/home/hadoop/.ssh/id_dsa.pub ./master_das.pub
5)
复制aster.dsa-pub到认证KEY文件
cat id_dsa.pub >> autohrized_keys
验证登录
操作:master
ssh node1
ssh node2
免密码登录即可
#回收权限,防止成为肉鸡 chmod 600 authorized_keys
以上,环境配置成功:
参考文档: