hadoop伪分布式安装和部署
系统为centos7.4的虚拟机,jdk环境,方便运行hadoop相关工具
cd /opt/install
rz jdk的本地目录 #上传JDK
tar -zxvf jdk #解压jdk
mv jdk /opt/software/jdk1.8 #移动并重命名
环境变量
vim /etc/profile #编辑环境变量
JAVA_HOME=/opt/software/jdk1.8 #添加JAVA_HOME变量
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=:.$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
source /etc/profile #生效配置
上传Hadoop2.7.7
cd /opt/install #进入安装包目录
rz hadoop2.7.7本地地址 #上传hadoop
tar -zxvf hadoop.tar.gz #解压hadoop文件
mv hadoop /opt/software/hadoop #移动hadoop文件到安装目录
修改配置文件
cd /opt/software/hadoop
vim etc/hadoop/hadoop-env.sh #编辑配置文件hadoop-env.sh
export JAVA_HOME=/opt/software/jdk1.8 #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop/etc/hadoop #修改33行
配置环境变量
vim /etc/profile
HADOOP_HOME=/opt/software/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile #环境变量生效
伪分布式
修改主机名
vim /etc/hostname #编辑主机名文件
HDP01
修改主机映射
vim /etc/hosts
192.168.31.xxx HDP01
配置免密登录
ssh-keygen #生成公钥 ssh-copy-id 主机名 #分享公钥
core-site.xml
<configuration> <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://主机名:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop/tmp</value> </property> </configuration>
hdfs-site.xml
<configuration> <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>
mapred-site.xml
<!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
yarn-site.xml
<!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>主机名</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
slaves
HDP01 #主机名
格式化文件系统
hadoop namenode -format
启动Hadoop
hadoop-daemon.sh start namenode hadoop-daemon.sh start datanode