随笔分类 - Hadoop生态

安装部署一个测试环境的hadoop生态圈,只用来做测试,适用于初学者

发表于 2020-07-09 17:51阅读次数：157评论次数：0

摘要：YARN架构一: 1 RM(ResourceManager) + N NM (NodeManager) ResourceManager的职责:一个集群active状态的RM只有一个，负责整个集群的资源管理和调度1)处理客户端的请求(启动/杀死) 2)启动/监控ApplicationMaster( 阅读全文 »

posted @ 2020-07-09 17:51 后山人阅读(157) 评论(0) 推荐(0) 编辑

hadoop集群的安装部署

发表于 2020-05-26 00:08阅读次数：299评论次数：0

摘要：#本人所写博客只作为自己的操作记录和笔记分享出来让大家参考学习如有什么技术漏洞和bug请多多指教与包涵! Hadoop简介n 2.XHDFS yarn mapreduce– 分布式存储系统HDFS （Hadoop Distributed File System ）– 分布式存储系统– 提供了高可靠阅读全文 »

posted @ 2020-05-26 00:08 后山人阅读(299) 评论(0) 推荐(0) 编辑

hadoop hdfs 分布式存储

发表于 2018-09-15 16:58阅读次数：200评论次数：0

摘要：1.克隆前的工作 1.配置好网络nat 需要设置静态ip并能通过主机上网 ssh 和 rsync 是必须下载的 2.yum install vim wget rsync ssh 并配置vim set nu set ts=4 .vimrc 3.下载jdk和Hadoop 解压到/usr/local/ja 阅读全文 »

posted @ 2018-09-15 16:58 后山人阅读(200) 评论(0) 推荐(0) 编辑