会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
♂
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
2020年7月26日
hadoop中的HA搭建流程
摘要: 8.3 HDFS-HA集群配置 8.3.1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK,配置环境变量等 8.3.2 规划集群 表3-1 hadoop102 hadoop103 hadoop104 NameNode Na
阅读全文
posted @ 2020-07-26 19:14 ♂
阅读(204)
评论(0)
推荐(0)
编辑
hadoop中yarn整理
摘要: Yarn资源调度器 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMas
阅读全文
posted @ 2020-07-26 19:11 ♂
阅读(181)
评论(0)
推荐(0)
编辑
hadoop中mapReduce整理
摘要: 1.1 MapReduce定义 1.2 MapReduce优缺点 1.2.1 优点 1.2.2 缺点 1.3 MapReduce核心思想 1)分布式的运算程序往往需要分成至少2个阶段。 2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。 3)第二个阶段的ReduceTask并发实例互不
阅读全文
posted @ 2020-07-26 17:52 ♂
阅读(235)
评论(0)
推荐(0)
编辑
hadoop中HDFS整理
摘要: 1.1.HDFS. 它是一个分布式文件管理系统,用来存储文件,通过目录树来定位文件;由多个服务器联合起来实现功能,集群中的服务器有各自的角色。 适用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据的分析,并不适合用来做网盘应用。 1.1.1NameNode:就是master,它
阅读全文
posted @ 2020-07-26 17:08 ♂
阅读(203)
评论(0)
推荐(0)
编辑