随笔分类 -  Distributed-分布式系统

分布式系统的相关问题。高并发的分布式系统
摘要:1 kafka 可以脱离 zookeeper 单独使用吗?为什么?kafka 不能脱离 zookeeper 单独使用, 因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。 不可能越过Zookeeper直接联系Kafka broker,一旦Zookeeper停止工作,它 阅读全文
posted @ 2023-03-08 16:02 aspirant 阅读(438) 评论(0) 推荐(0) 编辑
摘要:Kafka 到底会不会丢数据呢?如果丢数据,究竟该怎么解决呢? 总结 Kafka要严格意义上保证消息不丢失,需要从三个方面来设置, 第一个服务器端持久化设置为同步刷盘、第二个生产者设置为同步投递,第三个消费端设置为手动提交。 1、解决思路 首先第一个是服务器端。设置broker中的配置项unclea 阅读全文
posted @ 2023-03-08 15:47 aspirant 阅读(612) 评论(0) 推荐(0) 编辑
摘要:一、普通 hash 算法 (取模算法): 在了解一致性哈希算法之前,我们先了解一下缓存中的一个应用场景,了解了这个应用场景之后,再来理解一致性哈希算法,就容易多了,也更能体现出一致性哈希算法的优点,那么,我们先来描述一下这个经典的分布式缓存的应用场景。 1、普通 hash算法 与 使用场景描述: 假 阅读全文
posted @ 2022-11-10 10:27 aspirant 阅读(225) 评论(0) 推荐(0) 编辑
摘要:zab协议为什么只保证超过一半的机器保持数据同步?这样有什么好处,会造成什么影响,还有剩下的没保证同步的机器,后来是怎么重新进入数据同步状态的?paxos也有类似的问题 举个例子。假设一个集群系统中就存储着一条数据(比如这条数据代表所有人支付宝的总额,所有人都秉承共产主义理念往这个账户里存钱取钱)。 阅读全文
posted @ 2020-08-27 15:58 aspirant 阅读(577) 评论(0) 推荐(0) 编辑
摘要:ZooKeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能 ZooKeeper致力于提供一个高性能、高可用,具有严格的顺序访问控制能力(主要是写操作的严格顺序性 阅读全文
posted @ 2020-08-02 23:04 aspirant 阅读(1344) 评论(0) 推荐(0) 编辑
摘要:操作系统内的并发执行进程可以是独立的也可以是协作的: 如果一个进程不能影响其他进程或受其他进程影响,那么该进程是独立的,换句话说,不与任何其他进程共享数据的进程是独立的; 如果一个进程能影响其他进程或受其他进程所影响,那么该进程是协作的。换句话说,与其他进程共享数据的进程为协作进程。 提供环境允许进 阅读全文
posted @ 2020-08-02 22:32 aspirant 阅读(1153) 评论(0) 推荐(0) 编辑
摘要:1、背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一,其解决的问题就是在分布式系统中如何就某个值(决议)达成一致。 在常见的分布式系统中,总会发生诸如机器宕机或网络异常(包括消息的延迟、丢失、重复、乱序,还有网络分区)(也就是会发生异 阅读全文
posted @ 2020-07-17 15:17 aspirant 阅读(740) 评论(0) 推荐(0) 编辑
摘要:在一个分布式系统中,由于节点故障、网络延迟等各种原因,根据CAP理论,我们只能保证一致性(Consistency)、可用性(Availability)、分区容错性(Partition Tolerance)中的两个。 对于一致性要求高的系统,比如银行取款机,就会选择牺牲可用性,故障时拒绝服务。Mong 阅读全文
posted @ 2020-07-16 22:22 aspirant 阅读(442) 评论(0) 推荐(0) 编辑
摘要:1、背景 Paxos算法是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一,其解决的问题就是在分布式系统中如何就某个值(决议)达成一致。 在常见的分布式系统中,总会发生诸如机器宕机或网络异常(包括消息的延迟、丢失、重复、乱序,还有网络分区)(也就是会发生异 阅读全文
posted @ 2020-07-16 18:02 aspirant 阅读(967) 评论(0) 推荐(0) 编辑
摘要:小编:记得关注哦 来源:区块链大本营 作者 | Yu Liebing 责编 | Carol 出品 | 区块链大本营(ID:blockchain_camp) 拜占庭将军问题(The Byzantine Generals Problem)提供了对分布式共识问题的一种情景化描述,由Leslie Lampo 阅读全文
posted @ 2020-07-16 11:39 aspirant 阅读(3966) 评论(0) 推荐(0) 编辑
摘要:拜占庭将军问题是由 Paxos 算法作者莱斯利·兰伯特提出的点对点通信中的基本问题。 该问题要说明的含义是,在不可靠信道上试图通过消息传递的方式达到一致性是不可能的。 所以,Paxos 算法的前提是不存在拜占庭将军问题,即信道是安全的、可靠的, 集群节点间传递的消息是不会被篡改的。 一般情况下,分布 阅读全文
posted @ 2020-07-16 11:29 aspirant 阅读(1035) 评论(0) 推荐(0) 编辑
摘要:CAP定理 在分布式系统中,一致性、可用性、分区容错性最多只能同时实现两点。一致性,分布式系统所有数据备份是否相同。可用性,收到用户的请求,在时限内服务器必须给出明确的回应。分区容错性:大多数分布式系统都分布在多个子网络,每个子网络就叫做一个区。分区容错指分区间通信可能失败,比如,一台服务器放在中国 阅读全文
posted @ 2020-07-16 11:27 aspirant 阅读(579) 评论(0) 推荐(0) 编辑
摘要:拜占庭将军问题很多人可能听过,但不知道是什么意思,本文从非专业的角度来讲讲,拜占庭将军问题到底是说什么的。 拜占庭将军问题(Byzantine Generals Problem),首先由Leslie Lamport与另外两人在1982年提出,很简单的故事模型,却困扰了计算机科学家们数十年。 故事大概 阅读全文
posted @ 2020-07-16 10:33 aspirant 阅读(700) 评论(0) 推荐(0) 编辑
摘要:拜占庭将军问题很多人可能听过,但不知道是什么意思,今天金猫kinmall就让你三分钟看懂区块链智慧是如何解决拜占庭将军问题的。故事大概是这么说的:拜占庭帝国即中世纪的土耳其,拥有巨大的财富,周围10个邻邦垂诞已久,但拜占庭高墙耸立,固若金汤,没有一个单独的邻邦能够成功入侵。任何单个邻邦入侵的都会失败 阅读全文
posted @ 2020-07-16 10:19 aspirant 阅读(3147) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示