随笔分类 - 分布式
摘要:1 概念 1.1 模型 节点 在具体的工程项目中,一个节点往往是一个操作系统上的进程。在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点。 异常 机器宕机:机器宕机是最常见的异常之一。在大型集群中每日宕机发生的概率
阅读全文
摘要:一、从数据一致性谈起1、数据一致性的情形2、数据一致性的概念3、数据一致性的原理4、数据一致性的协议二、分布式服务间的数据一致性三、分布式事务一致性解决方案1、接口同步调用模式与一致性解决方案2、接口异步调用模式与一致性解决方案3、消息异步处理模式与一致性解决方案四、保证操作幂等性的常用方法五、总结
阅读全文
摘要:Zookeeper是可以存储数据的,所以我们可以把它理解一个数据库,实际上它的底层原理本身也和数据库是类似的。 一、数据库的原理 我们知道,数据库是用来存储数据的,只是数据可以存储在内存中或磁盘中。而Zookeeper实际是结合了这两种的,Zookeeper中的数据即会存储在磁盘中以达到持久化的目的
阅读全文
摘要:mit 分布式论文集 https://github.com/feixiao/Distributed-Systems wiki上描述的几种都明白了就出师了 raft 和 zab 是类似的,都是1.先选举,2.然后再对客户端的消息进行投票. 其实是 simple paxos 的一种变化. 和 原生pax
阅读全文
摘要:目录 raft算法概览 leader election term 选举过程详解 log replication Replicated state machines 请求完整流程 safety corner case stale leader State Machine Safety leader c
阅读全文
摘要:问题:当 raft group 发生脑裂的情况下,老的 raft leader 可能在一段时间内并不知道新的 leader 已经被选举出来,这时候客户端在老的 leader 上可能会读取出陈旧的数据(stale read)。比如,我们假想一个拥有 5 个节点的 raft group: 其中 Node
阅读全文
摘要:随着 CoreOS 和 Kubernetes 等项目在开源社区日益火热,它们项目中都用到的 etcd 组件作为一个高可用强一致性的服务发现存储仓库,渐渐为开发人员所关注。在云计算时代,如何让服务快速透明地接入到计算集群中,如何让共享配置信息快速被集群中的所有机器发现,更为重要的是,如何构建这样一套高
阅读全文
摘要:附录: 原文地址 为什么需要分布式系统? 任何事物能够被持续的运用和发展,必然有其价值,分布式系统也是一样。分布式系统的产生我认为主要的目的就是“快”和“海量”。 这个“快”可以分为两个方面: 第一个是系统的处理速度快。 第二个是开发的速度快(历时短)。 第一个是系统的处理速度快。 第二个是开发的速
阅读全文
摘要:本文是公众号读者有故事的驴的投稿 感谢驴同学的技术分享 目录: 1.什么是事务? 2.换个角度看事务 3.Java中的事务 4.啥又是分布式事务? 5.分布式事务的几种实现思路 6.总结 写在前面 在分布式、微服务大行其道的今天,相信大家对这些名词都不会陌生。而说到使用分布式,或者拆分微服务的好处,
阅读全文
摘要:附录: https://mp.weixin.qq.com/s/8Hh4j0CjfF5S8zM29JZl2w # 面试官心理分析 面试官问了你一堆 dubbo 是怎么玩儿的,你会玩儿 dubbo 就可以把单块系统弄成分布式系统,然后分布式之后接踵而来的就是一堆问题,最大的问题就是分布式事务、接口幂等性
阅读全文
摘要:来源: https://www.zhihu.com/question/23645117/answer/124708083 我的 PhD 研究方向是分布式系统,我老板也是分布式系统出身,我们实验室在这方面的积累还算不错,所以借此问题谈谈自己的看法。首先需要说明的是,分布式系统是一个复杂且宽泛的研究领域
阅读全文
摘要:目录 我的探索历程 从分布式系统的特征出发 分布式系统的一般特征 可扩展性 可用性 一致性 高性能 references 正文 我的探索历程 回到顶部 这一部分,与分布式不大相关,记录的是我是如何在分布式学习这条道路上摸索的,不感兴趣的读者请直接跳到下一章。 过去的一年,我在分布式学习这条道路上苦苦
阅读全文
摘要:目录 什么是分布式系统 分布式系统挑战 分布式系统特性与衡量标准 组件、理论、协议 用一个请求串起来 一个简化的架构图 概念与实现 总结 references 正文 虽然本人在前面也写过好几篇分布式系统相关的文章,主要包括CAP理论、分布式存储与分布式事务,但对于分布式系统,并没有一个跟清晰的概念。
阅读全文
摘要:分布式系统;Tidb NewSql (mysql redis mongdb) 分布式系统基础概念 性能评估方法 数据分布、复制、一致性、容错等。 分布式系统常见二个协议: paxos选举协议 二阶段提交协议 强一致性 弱一致性 最终一致性
阅读全文
摘要:Paxos分析 最近研究paxos算法,看了许多相关的文章,概念还是很模糊,觉得还是没有掌握paxos算法的精髓,所以花了3天时间分析了libpaxos3的所有代码,此代码可以从https://bitbucket.org/sciascid/libpaxos 下载。对paxos算法有初步了解之后,再看
阅读全文
摘要:前言 不知道你是否遇到过这样的情况,去小卖铺买东西,付了钱,但是店主因为处理了一些其他事,居然忘记你付了钱,又叫你重新付。又或者在网上购物明明已经扣款,但是却告诉我没有发生交易。这一系列情况都是因为没有事务导致的。这说明了事务在生活中的一些重要性。有了事务,你去小卖铺买东西,那就是一手交钱一手交货。
阅读全文
摘要:前言 最近懒成一坨屎,学不动系列一波接一波,大多还都是底层原理相关的。上周末抽时间重读了周志明大湿的 JVM 高效并发部分,每读一遍都有不同的感悟。路漫漫,借此,把前段时间搞着玩的秒杀案例中的分布式锁深入了解一下。 案例介绍 在尝试了解分布式锁之前,大家可以想象一下,什么场景下会使用分布式锁? 单机
阅读全文