2016年10月25日

大数据日知录【第六章:分布式通信】进程和进程之间如何通信

摘要: 消息交换: 分布式通信是位于不同机器上进程间通信的粘合剂 若单纯的以JSON或者XML传递信息的话,太多重复传递Schema的过程,通信效率低。 序列化的框架传输效率高 消息队列: 模式:消息队列模式和Pub-Sub模式 Kafka:(至少送达一次,可以读取历史的消息) 消息生产者-->代理服务器< 阅读全文

posted @ 2016-10-25 18:40 zhouzhou0615 阅读(490) 评论(0) 推荐(0) 编辑

大数据日知录【第五章:分布式协调系统】笔记--如何当选老大?如何加入组织?如何将组织的意愿传递下去

摘要: Chubby: 保持高可用性和可靠性,不追求读写的高吞吐量,所有的读写请求都有主控服务器完成,其他的备份服务器在内存中维护和主控服务器完全一致的树形结构,此时从属服务器的作用在于系统的整体的可靠性。 Zookeeper: 每一个节点都可以处理读请求,写请求只能由主控服务器处理,此时从属服务器的作用在 阅读全文

posted @ 2016-10-25 16:10 zhouzhou0615 阅读(163) 评论(0) 推荐(0) 编辑

大数据日知录【第四章:集群资源管理与调度】笔记--这些资源怎么调度?

摘要: 面对各种各样的服务需要的计算系统和框架,对于资源而言,常见的资源调度方法时静态划分方法,框架之间各行其是,但是利用效率低。 调度设计的基本问题: 资源具有异质性(有的机器配置高,有的低)所以要分成一个个小粒度的资源 数据局部性(移动计算而不是移动数据) 支持抢占资源 or not 分配资源粒度:全分 阅读全文

posted @ 2016-10-25 11:59 zhouzhou0615 阅读(516) 评论(0) 推荐(0) 编辑

导航