完全分布式:每台机器运行一个进程的服务
需要在多台计算机上分别运行主节点和从节点。在这种模式下,Hadoop的相关进程分别运行在多个节点上,形成一个真正意义上的集群。
注意:每台机器的配置是相同的
1.下载Hadoop。
这一步,和伪分布式一样,需要注意的是,在slave1和slave2上需做同样的动作。
2.安装Hadoop。
这一步,和伪分布式一样,需要注意的是,在slave1和slave2上需做同样的动作。
3.配置Hadoop。
在这一步,需要注意的是,master、slave1和slave2上必须要保持一样的配置。
第1个:hadoop-env.sh,保持不变。
第2个:core-site.xml,保持不变。
第3个:hdfs-site.xml。因为现在有2个从节点,所以将数据副本数量设置为2:
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>192.168.128.131:50090</value>
</property>
copy
第4个:mapred-site.xml,保持不变。
第5个:yarn-site.xml,保持不变。
第6个:slaves。需要改写:
slave1
slave2
修改完成后将hadoop文件复制到其他机器。注意,删除tmp文件。
rm -rf hadoop/tmp
格式化文件格式
hdfs namenode -format
启动:
start-dfs.sh
start-yarn.sh
访问
dfs--webui
http://192.168.10.100:50070/
yarn-ui
http://192.168.10.100:8088/cluster/nodes
停止:
stop-yarn.sh
start-dfs.sh
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现