上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页
摘要: MapReduce 框架实现单词计数(WC)整体流程图 MapReduce 编程步骤 编写一个 MapReduce 程序包括编写 Mapper 类、编写 Reducer 类和编写 Job 客户端 MapReduce 中无论 Mapper 类 还是 Reducer 类, 操作的都是 <Key,Valu 阅读全文
posted @ 2021-12-02 20:41 追こするれい的人 阅读(33) 评论(0) 推荐(0) 编辑
摘要: MapReduce 简介 MapReduce 本身是一种支持并行运算的编程模型(思想),这个编程模型分为两个阶段:Map 阶段和 Reduce 阶段。 Hadoop 的 MapReduce 框架 Hadoop 的 MapReduce 是实现 MapReduce 编程模型的一个分布式计算框架,这个框架 阅读全文
posted @ 2021-12-02 20:11 追こするれい的人 阅读(92) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper 命令行客户端 启动客户端 启动本地 zookeeper 客户端:./zkCli.sh [root@node-02 bin]# ./zkCli.sh Connecting to localhost:2181 # 2181 是客户端监听端口 ... [zk: localhost:21 阅读全文
posted @ 2021-12-02 19:55 追こするれい的人 阅读(99) 评论(0) 推荐(0) 编辑
摘要: ZooKeeper 数据模型 数据存储形式 ZooKeeper 中对用户的数据采用 Key-Value 形式存储 ZooKeeper 的 key 是以目录树路径的形式表示(根目录 /) ZooKeeper 的 key 之间存在父子关系 ZooKeeper 中的 Key-Value 称为目录树的 zn 阅读全文
posted @ 2021-12-02 19:35 追こするれい的人 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 运行机制 ZooKeeper 集群安装时所有 zk 节点不分主/从节点 ZooKeeper 集群运行时会选举一个节点作为主节点( Leader ),其他节点作为从节点( Follower ) ZooKeeper 集群中只有主节点(Leader) 对外提供服务,从节点(Follower)仅作为备份节点 阅读全文
posted @ 2021-12-02 19:14 追こするれい的人 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 什么是 ZooKeeper 官网地址:https://zookeeper.apache.org/ ZooKeeper is a centralized service for maintaining configuration information, naming, providing distr 阅读全文
posted @ 2021-11-29 23:14 追こするれい的人 阅读(75) 评论(0) 推荐(0) 编辑
摘要: 副本机制的利弊 HDFS是一个高吞吐、高容错的分布式文件系统,但是 HDFS 在保证高容错的同时也带来了高昂的存储成本,比如有 5T的数据存储在 HDFS 上,按照 HDFS 的默认 3 副本机制,将会占用 15T 的存储空间。 那么有没有一种能达到和副本机制相同的容错能力,但是能大幅度降低存储成本 阅读全文
posted @ 2021-11-29 22:51 追こするれい的人 阅读(339) 评论(0) 推荐(0) 编辑
摘要: HDFS HA 的不足 虽然 HDFS HA 解决了“ NameNode 单点故障 ”问题,但是在系统扩展性、整体性能和隔离性方面仍然存在问题。 系统扩展性方面 元数据存储在 NameNode 内存中,受内存上限的制约 整体性能方面 吞吐量受单个 NameNode 的影响 隔离性方面 一个程序可能会 阅读全文
posted @ 2021-11-29 22:36 追こするれい的人 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 由 node-01、node-02 和 node-03 三个节点组成 ZooKeeper 集群环境,搭建步骤如下: 步骤一:上传 zookeeper-3.4.6.tar.gz 安装包到 node-01 并解压 [root@node-01 ~]# ll 总用量 17288 drwxr-xr-x. 6 阅读全文
posted @ 2021-11-25 17:18 追こするれい的人 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 机架感知(RackAwareness) 通常,大型 Hadoop 集群会分布在很多机架上,在这种情况下, 希望不同节点之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,名称节点会尽可能把数据块的副本放到多个机架上。 综合考虑这两点的基础上 Hadoop 设计了机架感知功能 外 阅读全文
posted @ 2021-11-24 17:59 追こするれい的人 阅读(85) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 14 下一页