随笔分类 -  分布式

摘要:《分布式技术原理与算法解析》学习笔记Day15这篇文章主要描述Actor模型,Actor类似于一个封装了自己状态和行为的“黑盒”对象,Actor之间通过消息进行通信,解决了死锁、竞争等问题。 阅读全文
posted @ 2023-02-18 16:02 李潘 阅读(53) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day14这篇文章主要描述流式计算,它负责处理实时数据,一般适用于数据密集型应用,另外文章来探讨了Apache Storm相关的知识。 阅读全文
posted @ 2023-02-17 08:51 李潘 阅读(52) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day13这篇文章主要讲述分布式计算模式中用的MapReduce,它采用了分治的思想,将大问题,划分为小问题,对小问题并行求解,最后在合并解。 阅读全文
posted @ 2023-02-16 09:07 李潘 阅读(55) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day12这篇文章主要讲述一种新的分布式调度策略:共享状态调度,它包含多个调度器,每个调度器都拥有整个集群的全局资源状态信息。另外还比较了三种调度策略:单体策略、两层策略和共享状态策略。 阅读全文
posted @ 2023-02-15 22:05 李潘 阅读(111) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day11这篇文章继续讨论分布式架构中的调度算法,为了解决单体调度面临的问题,我们引入两层调度。我们会讨论两层调度的工作原理,两种使用了两层调度的解决方案:Apache Mesos和Hadoop YARN。 阅读全文
posted @ 2023-02-14 21:55 李潘 阅读(53) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day10这篇文章主要描述分布式系统中的单体调度机制,它是指一个集群中只有一个节点运行调度进程,并介绍Google Borg的单体调度设计思路。 阅读全文
posted @ 2023-02-13 21:38 李潘 阅读(55) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day09这篇文章主要介绍分布式系统中的非集中式结构,以及我们经常使用的三种基于非集中式架构的解决方案:Akka集群、Redis集群和Cassandra集群。 阅读全文
posted @ 2023-02-12 21:28 李潘 阅读(45) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day08这篇文章主要介绍分布式系统中的集中式结构,以及我们经常使用的三种基于集中式结构的解决方案:Google Borg、Kubernetes和Mesos。 阅读全文
posted @ 2023-02-11 20:11 李潘 阅读(48) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day07这篇文章主要讨论分布式系统中的分布式锁问题,包括了三种不同的分布式锁实现方式:基于数据库的分布式锁、基于缓存的分布式锁和基于ZooKeeper的分布式锁。 阅读全文
posted @ 2023-02-10 23:24 李潘 阅读(36) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day06这篇文章主要描述在分布式系统下如何实现事务处理,包括三种常见的实现事务的方法:基于XA协议的二阶段提交方法、三阶段提交方法和基于分布式消息的最终一致性方案。 阅读全文
posted @ 2023-02-09 20:47 李潘 阅读(56) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day05这篇文章主要讨论分布式共识,包括什么是分布式共识以及常用的三种分布式共识算法:PoW(工作量证明)、PoS(权益证明)和DPoS(委托权益证明)。 阅读全文
posted @ 2023-02-08 19:07 李潘 阅读(63) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day04这篇文章主要描述分布式技术中的选举算法,分布式选举是为选出一个主节点,由它来协调和管理其他节点,保证集群有序运行和节点间数据的一致性。涉及到的选举算法包括Bully算法、Raft算法和ZAB算法。 阅读全文
posted @ 2023-02-07 21:23 李潘 阅读(150) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day03这篇文章主要描述分布式互斥方法,包括什么是分布式互斥,分布式互斥地三种方法:集中式方法、分布式方法和令牌环方法。 阅读全文
posted @ 2023-02-06 22:26 李潘 阅读(116) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day02这篇文章主要描述分布式系统的发展历程和分布式系统的衡量指标。发展历程包括了单机模式、数据并行模式和任务并行模式。分布式系统的衡量指标包括性能、资源占用、可用性和可扩展性。 阅读全文
posted @ 2023-02-05 21:36 李潘 阅读(62) 评论(0) 推荐(0) 编辑
摘要:《分布式技术原理与算法解析》学习笔记Day01开篇词 | 四纵四横,带你透彻理解分布式技术 谁更好掌握了分布式技术,谁就更容易在新一轮技术浪潮中获得主动。 很多有多年工作经验的人,在分布式上面,也可能会有下面的问题: 各种分布式概念、名词学了一大堆,但经常张冠李戴,傻傻分不清楚。 做了多年技术,也参与了很多分布式技术实践,却无法回答工作中各种分 阅读全文
posted @ 2023-02-04 22:22 李潘 阅读(84) 评论(0) 推荐(0) 编辑
摘要:《RPC实战与核心原理》学习笔记Day16这篇文章主要讨论如何在不知道接口的情况下进行RPC调用,以及如何在一个线上系统中支持多种不同的RPC协议。 阅读全文
posted @ 2023-02-02 22:55 李潘 阅读(70) 评论(0) 推荐(0) 编辑
摘要:《RPC实战与核心原理》学习笔记Day15这篇文章主要关注流量回放和动态分组,主要包括流量回放的使用背景,RPC中流量回放的实现方式,动态分组要解决的问题以及如何实现动态分组。 阅读全文
posted @ 2023-02-01 22:55 李潘 阅读(96) 评论(0) 推荐(0) 编辑
摘要:《RPC实战与核心原理》学习笔记Day14这篇文章主要描述如何定位RPC问题以及如何使用时钟轮来管理RPC中的定时任务,主要包括如何设计合适的异常机制,如何使用分布式链路跟踪系统,以及如何使用时钟轮来管理RPC中的超时控制和心跳检测。 阅读全文
posted @ 2023-01-31 22:46 李潘 阅读(94) 评论(0) 推荐(0) 编辑
摘要:《RPC实战与核心原理》学习笔记Day13这篇文章主要描述RPC框架中的异步与安全,包括服务调用方和服务提供方的异步计算设计方案,服务调用方与服务提供方之间的身份验证以及服务提供方和服务发现之间的安全设计。 阅读全文
posted @ 2023-01-30 13:51 李潘 阅读(107) 评论(0) 推荐(0) 编辑
摘要:《RPC实战与核心原理》学习笔记Day12这篇文章主要关注如何提高服务的高可用,包括在服务提供方的限流手段,在服务调用方的熔断手段,在服务注册时通过服务分组操作在更细粒度上做流量分离。 阅读全文
posted @ 2023-01-30 12:17 李潘 阅读(48) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示