随笔分类 - 算法
摘要：Grafana Loki查询加速：如何在不添加资源的前提下提升查询速度 来自Grafana Loki query acceleration: How we sped up queries without adding resources，介绍了Loki如何通过n-grams + 布隆过滤器来加速查询
阅读全文
摘要：一个无竞争的缓存 目录一个无竞争的缓存Cache定义数据节点的创建hashmaps3-FIFODequeuereadBufferswritebufferNode 过期策略可变过期策略Variable的初始化删除过期数据添加数据Cache的Set & GetSetGet事件和过期数据的处理事件处理清理
阅读全文
摘要：S3-FIFO 本文作为下一篇缓存文章的预备知识。 背景 基于LRU和FIFO的驱逐 FIFO和LRU都是经典的缓存驱逐算法，在过去几十年中也出现了很多追求更高效率的驱逐算法，如ARC, 2Q, LIRS, TinyLFU。传统观点认为，基于LRU的缓冲未命中率要低于基于FIFO的算法，如CLOCK
阅读全文
摘要：限速器 限速模拟器 限速器类型 Leaky Bucket：漏桶算法(和令牌桶(token bucket)非常相似)是一种非常简单，使用队列来进行限流的算法。当接收到一个请求时，会将其追加到队列的末尾，系统会按照先进先出的顺序处理请求，一旦队列满，则会丢弃额外的请求。队列中的请求数目受限于队列的大小。
阅读全文
摘要：Roaring bitmaps 最近看一篇文章，里面涉及到使用roaring bitmaps来推送用户广告并通过计算交集来降低用户广告推送次数。本文给出roaring bitmaps的原理和基本用法，后续给出原文的内容。 本文来自：A primer on Roaring bitmaps: what
阅读全文
摘要：使用shuffle sharding增加容错性 最近在看kubernetes的API Priority and Fairness，它使用shuffle sharding来为请求选择处理队列，以此防止高吞吐量流挤占低吞吐量流，进而造成请求延迟的问题。 介绍 首先看下什么是shuffle shardin
阅读全文
摘要：Rendezvous hashing Rendezvous hashing用于解决分布式系统中的分布式哈希问题，该问题包括三部分： Keys：数据或负载的唯一标识 Values：消耗资源的数据或负载 Servers：管理数据或负载的实体 例如，在一个分布式系统中，key可能是一个文件名，value是
阅读全文
摘要：HASH算法介绍 Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散
阅读全文