摘要: 1 介绍 1.1 概念 面向批处理的分布式计算框架 一种编程模型:MapReduce程序被分为Map(映射)阶段和Reduce(化简)阶段 1.2 核心思想 分而治之,并行计算 移动计算,而非移动数据 1.3 特点 计算跟着数据走 良好的扩展性:计算能力随着节点数增加,近似线性递增 高容错 状态监控 阅读全文
posted @ 2020-05-06 23:39 Christine_7 阅读(540) 评论(0) 推荐(0) 编辑
摘要: Hadoop提供了一套分布式系统基础架构。 核心内容包含hdfs和mapreduce。hadoop2.0 以后引入yarn. hdfs是提供数据存储的,mapreduce是方便数据计算的。 1. hdfs 又对应 namenode 和 datanode. namenode 负责保存元数据的基本信息, 阅读全文
posted @ 2020-05-06 07:01 Christine_7 阅读(261) 评论(0) 推荐(0) 编辑
摘要: HBase分布式数据库,面向列存储(准确的说是面向列族),支持实时、随机读写。HDFS 为 Hbase 提供可靠的底层数据存储服务,MapReduce 为 Hbase 提供高性能的计算能力,Zookeeper 为 Hbase 提供 稳定服务和Failover机制,因此,Hbase 是一个通过大量廉价 阅读全文
posted @ 2020-05-06 00:15 Christine_7 阅读(575) 评论(0) 推荐(0) 编辑