【图文教程】Centos 7下安装Hadoop
环境说明:
系统:Centos7 在VM中安装的
hadoop版本:2.7.7
JDK:1.8
注意:Hadoop需要Java环境的。记得安装Java环境
PS:Centos JDK安装
1 | mkdir /data |
1:上传jdk的tar.解压
2:修改/etc/proflie,把Javahome环境变量配置上:
记住:在修改前,先备份
在文件最后添加:
1 | export JAVA_HOME=/data/jdk1. 8 .0_351<br>export JRE_HOME=${JAVA_HOME}/jre<br>export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH<br>export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin<br>export PATH=$PATH:${JAVA_PATH} |
说明:/data/jdk1.8.0_351 修改成你自己的
如下图:
添加完成后,使用 source /etc/profile 使其生效。
查看Java版本:
开始安装:
一:下载安装包:
1.1: 安装包下载地址 https://repo.huaweicloud.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
1.2:上传并解压
1 | mkdir /data |
在Xshell中可以使用rz命令进行上传
解压:
1 | <br> cd /data<br> <br> tar -zxvf hadoop- 2.7 . 7 .tar.gz |
二:hadoop配置
声明:下文中踢掉的,hadoop的安装目录:
比如凯哥的安装目录,就是第一步上传到/data后解压的。所以hadoop安装目录就是:/data/hadoop-2.7.7 这个别搞错了
2.1:修改hadoop安装目录 /etc/hadoop 下的 hadoop-env.sh的内容
1 | cd /data/hadoop- 2.7 . 7 /etc/hadoop/ |
注意:是hadoop的安装目录:
比如凯哥的安装目录,就是第一步上传到/data后解压的。所以hadoop安装目录就是:/data/hadoop-2.7.7 这个别搞错了
1 | vi hadoop-env.sh |
输入Javahome的配置
1 | # 指定JAVA_HOME<br>export JAVA_HOME=/data/jdk1.8.0_351 |
2.2:修改hadoop安装目录 /etc/hadoop 下的
1 | vi core-site.xml |
输入下面:
主要:<configuration> 这个标签。后面第3步和第4步,同样需要注意。
1 | <configuration><br> <!-- 指定HDFS老大(namenode)的通信地址 --><br> <property><br> <name>fs.defaultFS< /name ><br> <value>hdfs: //192 .168.50.135:9002< /value ><br> < /property ><br> <!-- 指定hadoop运行时产生文件的存储路径 --><br> <property><br> <name>hadoop.tmp. dir < /name ><br> <value> /data/hadoop/tmp < /value ><br> < /property ><br>< /configuration > |
需要主要,将hdfs的ip修改成你自己物理机的ip.
我们发现,在配置hadoop运行时候文件存储路径为/data/hadoop 如果没有这个目录,需要创建
注:这里fs.defaultFS
的value
最好是写本机的静态IP。当然写本机主机名,再配置hosts
是最好的,如果用localhost
,然后在windows
用java
操作hdfs
的时候,会连接不上主机。
2.3:修改 hadoop安装目录/etc/hadoop下的hdf-site.xml的内容
1 | vi hdfs-site.xml |
输入:
1 | <configuration><br> <property><br> <name>dfs.namenode.name. dir < /name ><br> <value> /data/hadoop/hadoop/hdfs/nn < /value ><br> < /property ><br> <property><br> <name>fs.checkpoint. dir < /name ><br> <value> /data/hadoop/hdfs/snn < /value ><br> < /property ><br> <property><br> <name>fs.checkpoint.edits. dir < /name ><br> <value> /data/hadoop/hdfs/snn < /value ><br> < /property ><br> <property><br> <name>dfs.datanode.data. dir < /name ><br> <value> /data/hadoop/hdfs/dn < /value ><br> < /property ><br><br> <property><br> <name>dfs.name. dir < /name ><br> <value> /data/hadoop/name < /value ><br> < /property ><br> <property><br> <name>dfs.data. dir < /name ><br> <value> /data/hadoop/node < /value ><br> < /property ><br> <property><br> <name>dfs.replication< /name ><br> <value>1< /value ><br> < /property ><br> <property><br> <name>dfs.http.address< /name ><br> <value>192.168.50.135:9000< /value ><br> < /property ><br> <property><br> <name>ipc.maximum.data.length< /name ><br> <value>134217728< /value ><br> < /property ><br>< /configuration > |
同样需要注意的是将ip修改成自己服务器的真实ip
2.4:修改 hadoop安装目录下的/etc/hadoop 下的yarn-site.xml
1 | <configuration><br><br><!-- Site specific YARN configuration properties --><br><property><br> <name>yarn.nodemanager.vmem-check-enabled</name><br> <value> false </value><br></property><br><property><br> <name>yarn.nodemanager.aux-services</name><br> <value>mapreduce_shuffle</value><br></property><br><property><br> <name>yarn.application.classpath</name><br> <value><br> /data/hadoop- 2.7 . 7 /etc/*,<br> /data/hadoop- 2.7 . 7 /etc/hadoop/*,<br> /data/hadoop- 2.7 . 7 /lib/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/common/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/common/lib/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/mapreduce/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/mapreduce/lib/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/hdfs/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/hdfs/lib/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/yarn/*,<br> /data/hadoop- 2.7 . 7 /share/hadoop/yarn/lib/*<br> </value><br></property><br><br></configuration> |
三:将Hadoop配置到环境变量中:
在 /etc/profile中配置
1 | export HADOOP_HOME= /data/hadoop-2 .7.7<br> export PATH=$PATH:$JAVA_HOME /bin :$HADOOP_HOME /bin :$HADOOP_HOME /sbin <br> export HADOOP_CLASSPATH=`hadoop classpath`<br> export HADOOP_CONF_DIR= /data/hadoop-2 .7.7 /etc/hadoop |
4:配置hosts
可能会用到。如下错误时候修改:
修改hosts:
在/etc/hosts。同样需要注意,修改前,记得备份下。
1 | 192.168 . 50.135 VM-xxx-centos localhost.localdomain gp-master <br><br>:: 1 VM-xx-centos VM-xxx-centos<br> 192.168 . 50.135 master01 |
5:制作证书,免登陆配置
切换到root下
1 | cd /root |
接着:
1 | #执行生成密钥命令:<br>ssh-keygen -t rsa<br>#然后三个回车 |
继续:
1 | ssh-copy-id -i /root/.ssh/id_rsa.pub root@master01 |
选择yes
输入登录第一台节点的密码(操作完成该节点公钥复制到第一台节点中)
6:启动
进入到hadoop安装目录/sbin下,执行start-all.sh命令
1 | ./start-all.sh |
使用jps
命令验证是否已经启动成功(这些都启动了才算成功:ResourceManager、DataNode、SecondaryNameNode、NodeManager、TaskManagerRunner、YarnTaskExecutorRunner、NameNode
):
jps
本文来自博客园,作者:kaizi1992,转载请注明原文链接:https://www.cnblogs.com/kaigejava/p/16917588.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 【全网最全教程】使用最强DeepSeekR1+联网的火山引擎,没有生成长度限制,DeepSeek本体