摘要:
异步回调 A请求B,B处理后再通知A 阅读全文
摘要:
Hadoop1 ~ Hadoop2 解决的问题: 1. JobTracker 兼具资源管理和作业控制的任务 2. master 单点问题 3. 资源分配mapslot/reduceslot不可共享,资源划分力度粗 4. 无法支持多种计算框架 为什么需要一个弹性计算框架? 因为为了觉得各种数据密集型计 阅读全文
:: :: :: :: :: 管理 |
摘要:
Hadoop1 ~ Hadoop2 解决的问题: 1. JobTracker 兼具资源管理和作业控制的任务 2. master 单点问题 3. 资源分配mapslot/reduceslot不可共享,资源划分力度粗 4. 无法支持多种计算框架 为什么需要一个弹性计算框架? 因为为了觉得各种数据密集型计 阅读全文
摘要:
PAXOS学习记录 前提: 信息准确无篡改,通信环境可信 目的: 解决多结点间一致性问题(集群中一个修改或者申请成为主结点的提议) 主要角色: Proposer :提出议案(同时存在一个或者多个,他们各自发出提案) Acceptor: 收到议案后选择是否接受 Learner: 酱油 提案: Valu 阅读全文
摘要:
最近准备在项目中引入分布式锁,故而研究基于zookeeper的curator框架。 网上资料不多,自己研究其源码发现,这个框架已经帮我做了很多现成的实现。 下面介绍下锁的实现: 通过源码中LockingExample例子作为切入(推荐多利用现有资源,最快切入),为减小篇幅,代码仅保留关键部分。 cu 阅读全文
|