Hadoop单点伪分布模式安装
Hadoop单点伪分布模式安装
概述
单点
single-node,单节点,即一台计算机。
伪分布式模式
pseudo-distributed mode
所谓集群,表面上看是多台计算机联合完成任务;但本质上是由分布到很多计算机上的很多进程联合完成任务的。因为多台计算机部署比较复杂,需要的硬件配置也比较高,故障率也比较高,所以就产生了伪分布的需求,即在一台计算机上运行本应该分布到多台计算机上的进程。伪分布模式有利于快速体验Hadoop的特性或简化开发调试过程。
安装JDK
略
生成SSH密钥对
ssh-keygen -t rsa
#一路回车即可
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#将生成的公钥添加到授权公钥中
设置主机解析
打开/etc/hosts,全部内容修改为:
127.0.0.1 localhost
::1localhost
127.0.0.1centos
重启
shutdown -r now
测试
ssh centos
提示时输入yes,没有出错即是成功
安装Hadoop
安装
到Hadoop官方下载 hadoop-xxx.tar.gz(选择稳定版)
上传到 /usr/tmp
解压提取 tar zxvf hadoop-xxx.tar.gz
将得到的/usr/tmp/hadoop-xxx…移动到/usr/share/hadoop中
修改Hadoop配置文件
1)打开Hadoop目录中etc/hadoop/hadoop-env.sh,找到并修改JAVA_HOME变量
# The java implementation to use.
export JAVA_HOME=/usr/share/jdk1.8.0_144 #指定JDK安装位置
2)打开Hadoop目录中etc/hadoop/core-site.xml,修改为
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://centos:9000</value>
</property>
</configuration>
3) 打开Hadoop目录中etc/hadoop/hdfs-site.xml,修改为
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置环境变量
打开/etc/profile,在最后添加(最外层的etc下面)
#Hadoop
export HADOOP_HOME=/usr/share/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
重新执行使新环境变是生效
source /etc/profile
格式化和启动HDFS
格式化
在Hadoop目录中运行(最外层的hadoop文件夹)
hdfs namenode -format
没有ERROR就是成功
启动
start-dfs.sh
测试
hdfs dfs -mkdir /temp
hdfs dfs -ls /
应该打印出一条文件夹记录