随笔分类 - 技术
摘要：CAP CAP原则又称CAP定理，指的是在一个分布式系统中： Consistency（一致性）：每次读操作都能保证返回的是最新数据。 Availability（可用性）：任何一个没有发生故障的节点，会在合理的时间内返回一个正常的结果。 备注：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写
阅读全文
摘要：事件驱动体系结构是目前比较广泛使用的一种。这种方式会定义一系列的事件处理器来响应事件的发生，并且将服务端接受连接与对事件的处理分离。其中，事件是一种状态的改变。比如，tcp中socket的new incoming connection、ready for read、ready for write。
阅读全文
摘要：数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。 它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时，你可以选择使用有损方法或无损方法。有损方法会永久性地擦除掉一些数据，而无损方法则能保证持有全部的数据。使用哪类方法取决于你要让你的文件保持多大的精准度。 本文会为你介
阅读全文
摘要：一、部署图 主要跟架构部署有关，例如客户端、节点、网关、队列、数据库等 二、用例图 三、时序图 四、ER图 五、领域图
阅读全文
摘要：1、zookeeper 实现方式： 方案1：利用节点名称的唯一性来实现共享锁。 算法思路: 利用名称唯一性，加锁操作时，只需要所有客户端一起创建/test/Lock节点，只有一个创建成功，成功者获得锁。解锁时，只需删除/test/Lock节点，其余客户端再次进入竞争创建节点，直到所有客户端都获得锁。
阅读全文
摘要：相关概念 稳定：如果a原本在b前面，而a=b，排序之后a仍然在b的前面。 不稳定：如果a原本在b的前面，而a=b，排序之后 a 可能会出现在 b 的后面。 时间复杂度：对排序数据的总的操作次数。反映当n变化时，操作次数呈现什么规律。 空间复杂度：是指算法在计算机内执行时所需存储空间的度量，它也是数据
阅读全文
摘要：缓存算法用于决定缓存系统中哪些数据应该被删去。 LFU(Least Frequently Used)：最近最不常用算法，根据数据的历史访问频率来淘汰数据。 核心思想是：最近使用频率高的数据很大概率将会再次被使用,而最近使用频率低的数据,很大概率不会再使用。 做法：把使用频率最小的数据置换出去。这种算
阅读全文
摘要：1.RabbitMQ是什么？ RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而群集和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。 PS:也可能直接问什么是消息
阅读全文
摘要：要了解一致性哈希，首先我们必须了解传统的哈希及其在大规模分布式系统中的局限性。简单地说，哈希就是一个键值对存储，在给定键的情况下，可以非常高效地找到所关联的值。假设我们要根据其邮政编码查找城市中的街道名称。一种最简单的实现方式是将此信息以哈希字典的形式进行存储 <Zip Code，Street Na
阅读全文
摘要：加密算法我们整体可以分为：可逆加密和不可逆加密，可逆加密又可以分为：对称加密和非对称加密。 一、不可逆加密 常见的不可逆加密算法有MD5，HMAC，SHA1、SHA-224、SHA-256、SHA-384，和SHA-512，其中SHA-224、SHA-256、SHA-384，和SHA-512我们可以
阅读全文
摘要：一、定义以及相关概念 互联网的产生带来了机器间通讯的需求，而互联通讯的双方需要采用约定的协议，序列化和反序列化属于通讯协议的一部分。通讯协议往往采用分层模型，不同模型每层的功能定义以及颗粒度不同，例如：TCP/IP协议是一个四层协议，而OSI模型却是七层协议模型。在OSI七层协议模型中展现层（Pre
阅读全文
摘要：架构介绍 首先，从架构上，图片被两个datacenter分成了上下两部分；但这两部分又并不是完全隔离的，他们之间通过WAN GOSSIP在Internet上交互报文。因此，我们了解到consul是可以支持多个数据中心之间基于WAN来做同步的。 再看单个datacenter内部，节点被划分为两种颜色，
阅读全文
摘要：熔断检测机制 （1）请求call到backend后，首先判断熔断开关是否打开 （2）如果熔断开关已打开，则表明当前请求不能被处理 （3）如果熔断开关未打开，则判断时间窗口（判断统计错误率）是否已满 （4）如果时间窗口（判断统计错误率）未满，则请求桶（redis) 中的请求数加1 （5）如果返回的re
阅读全文
摘要：计数器（固定窗口）算法 计数器算法是使用计数器在周期内累加访问次数，当达到设定的限流值时，触发限流策略。下一个周期开始时，进行清零，重新计数。 此算法在单机还是分布式环境下实现都非常简单，使用redis的incr原子自增性和线程安全即可轻松实现。 这个算法通常用于QPS限流和统计总访问量，对于秒级以
阅读全文
摘要：一、状态机要素 可以把状态机的要素分为4个要素，即：现态、条件、动作、次态。“现态”和“条件”是因，“动作”和“次态”是果。 （1）现态：是指当前所处状态；（2）条件：又称为“事件”。当条件被满足时，将会触发一个动作，或者执行一次状态的迁移。（3）动作：条件满足后执行的动作。动作不是必须的，当条件满
阅读全文
摘要：布隆过滤器（Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 一、布隆过滤器简介 当你往简单数组或列表中插
阅读全文
摘要：什么是负载均衡 负载均衡，英文名称为Load Balance，指由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求
阅读全文
摘要：简介 所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真
阅读全文
摘要：Gossip protocol 也叫 Epidemic Protocol （流行病协议），实际上它还有很多别名，比如：“流言算法”、“疫情传播算法”等。 这个协议的作用就像其名字表示的意思一样，非常容易理解，它的方式其实在我们日常生活中也很常见，比如电脑病毒的传播，森林大火，细胞扩散等等。 Goss
阅读全文
