搭建hadpoot平台(集群式分布)
1.先下载VMware1.2,然后安装。
2.下载ubuntu-1.4.05-desktop-amd64.iso。下载地址:http://mirrors.aliyun.com/ubuntu-releases/14.04.5/
3.下载hadoop2.7。下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.1/
4.下载jdk-8u171-linux-x64.tar.gz。到官网下载。参考教程:https://blog.csdn.net/zl007700/article/details/50533675
5.在VMware上安装ubuntu系统。
我安装了好几次。第一次是因为到开机时运行到某个命令行停止运行了,我百度了许多,但是都不管用。然后进行了第二次重装ubuntu系统。安装好之后,登陆密码却忘记了。最后只能再安装一遍,终于成功。
6.新建文件夹software,将hadoop2.7和jdk-8u171-linux-x64.tar.gz拷贝到ubuntu系统的文件夹内,并解压。
7.安装jdk
(1)按“ctrl"+"Alt"+"F6"从图形化界面切换到命令行。
因为“ctrl"+"Alt"和我虚拟机上鼠标移入/移除命令相同。然后选择虚拟机上”编辑“->“首选项”->”热键“修改鼠标移入、移出命令得快捷键。
但是修改之后进入命令行依然有时不灵。
(2)输入命令:sudo mkdir /usr/lib.jvm
(3)输入命令:sudo cp -r software/jdk1.8.0_171 /usr/lib/jvm/
我输入命令后提示权限不够。然后我想进入root用户,但是密码没有设置,于是先设置root密码,然后进入root用户,
输入命令“cp -r software/jdk1.8.0_171 /usr/lib/jvm/"。
(4)输入“sudo vi /etc/profile"命令打开/etc/profile"文件
我刚开始按照教程上输入的命令时“sudo gredit /etc/profile",但是报错。后来又用上面的命令打开文件。
(5)在末尾加上四行:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_171
export JAVA_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
在编辑文件前先输入“i",编辑文件完成后按”esc",输入“:wq"保存文件并退出。
(6)输入“source /etc/profile”执行文件
输入“java –version”查看环境是否配置成功
8.安装配置SSH
(1)输入“sudo apt-get update”,更新apt
但是发现提示“连接失败”,于是到百度找到阿里云的sources.list文件更换。在sources.list更换成功后,发现还是报“404”错。发现虚拟机上不能连接网络。
然后在VMware上设置虚拟机联网为桥接网络。
重启虚拟机,发现虚拟机已联网。
然后重新输入“sudo apt-get update“执行
(2)输入“sudo apt-get install openssh-server”
输入“ssh localhost”查看SSH是否安装成功
(安装成功)
(3)生成密匙
输入“ssh-keygen –t rsa”然后一直按回车选择默认。
(4)实现了mater对slave1, slave2的无密码登陆。但是这一步有点错。正确操作参考:https://blog.csdn.net/zl007700/article/details/50533675
9.选择克隆出另外一台虚拟机Slave1 Ubuntu 14.10 64bit 。
虚拟机右键-》管理-》克隆。选择完整克隆。
9.配置hadoop
(1)在software/hadoop-2.7.6文件夹下新建文件new.txt。输入:
mkdir software/hadoop-2.7.6/tmp
mkdir software/hadoop-2.7.6/hdfs
mkdir software/hadoop-2.7.6/hdfs/nam
mkdir software/hadoop-2.7.6/hdfs/data
保存。
(2)到命令行查看ip。
输入“ifconfig -a”
虚拟机1:192.168.43.96
虚拟机2:192.168.43.229
(2)修改hosts。输入“sudo gedit /etc/hosts”
修改成:
但是因为图形界面没有管理员权限。所以只能在命令行的模式下进行修改
(3)修改环境变量
先切换当前目录到hadoop-2.7.6。输入“cd ~/software/hadoop-2.7.6/"
再在“hadoop-env.sh”文件中修改路径。输入“vi etc/hadoop/hadoop-env.sh”,然后修改JAVA_HOME的路径。
☆因为在命令行修改文件内容实在太困难了,所以我想在图形化界面登录root用户来修改文件。
设置图形化界面登录root:输入“vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf“
但是最后不知道为什么登陆界面还是没出现root登陆。
但是发现在图形化界面可以修改“etc/hadoop/hadoop-env.sh”内容。
(4)在相同文件夹下的core-site.xml进行修改
(5)
(5)
(6)
(7)分发配置好的hadoop文件夹到slave1, slave2
(8)格式化hdfs
(9)启动集群
启动后分别在两台虚拟机上查看jps