摘要: mapreduce是处理海量数据的分布式计算框架 解决了:数据分布式存储(hdfs)作业调度(任务划区域执行)容错(集群容错 能力高)机器间通信复杂问题 分而治之思想:分解求解合并mapreduce映射:分:map (复杂问题分解若干任务)和:reduce(汇总个数可设置) hadoop计算流程:i 阅读全文
posted @ 2017-07-19 21:09 吴某1 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 传统的取模方式固定均衡分配数据,在增加节点的时候,都需要做搬迁,成本太高然而在使用一致性哈希方式最关键的区别就是对节点和数据,都做一次哈希运算,然后比较节点和数据的哈希值,数据取和节点最相近的节点做为存放节点。这样就保证当节点增加或者减少的时候,影响的数据最少 具体算法过程为:先构造一个长度为0~2 阅读全文
posted @ 2017-07-19 21:04 吴某1 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 强一致性可以理解为在任意时刻,所有节点中的数据是一样的。同一时间点,你在节点A中获取到key1的值与在节点B中获取到key1的值应该都是一样的弱一致性 (相当于异步)系统并不保证续进程或者线程的访问都会返回最新的更新过的值。系统在数据写入成功之后,不承诺立即可以读到最新写入的值,也不会具体的承诺多久 阅读全文
posted @ 2017-07-19 21:03 吴某1 阅读(1970) 评论(0) 推荐(0) 编辑