随笔分类 - redis
摘要：为什么说Redis是单线程的？ 徐刘根 Java后端技术 今天 一、前言 近乎所有与Java相关的面试都会问到缓存的问题，基础一点的会问到什么是“二八定律”、什么是“热数据和冷数据” ，复杂一点的会问到缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题，这些看似不常见的概念，都与我们的缓存服务器
阅读全文
摘要：1 需求背景 该应用场景为AdMaster DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie（以下统称admckid）的mapping关系，还包括了admckid的人口标签、移动端id（主要是idfa和imei）的人口标签，以及一些黑名单id、i
阅读全文
摘要：业务背景 现有一个业务需求，需要从一批很大的用户活跃数据（2亿+）中判断用户是否是活跃用户。由于此数据是基于用户的各种行为日志清洗才能得到，数据部门不能提供实时接口，只能提供包含用户及是否活跃的指定格式的文本由业务方使用。 存在的挑战 海量数据如何尽可能用小的空间存储 如何能快速获取指定的数据 如何
阅读全文
摘要：本文主要讨论这么几个问题： （1）啥时候数据库和缓存中的数据会不一致 （2）不一致优化思路 （3）如何保证数据库与缓存的一致性 一、需求缘起 上一篇《缓存架构设计细节二三事》（点击查看）引起了广泛的讨论，其中有一个结论：当数据发生变化时，“先淘汰缓存，再修改数据库”这个点是大家讨论的最多的。 上篇文
阅读全文
摘要：编程迷思 本文将先说明上述几种技术分别解决了 Redis 高可用的什么问题，然后详细介绍 Redis 的持久化技术，主要是 RDB 和 AOF 两种持久化方案。 在介绍 RDB 和 AOF 方案时，不仅介绍它的作用及操作方法，同时介绍持久化实现的一些原理细节及需要注意的问题。最后，介绍在实际使用中，
阅读全文
摘要：前情提要： 最近接了大数据项目的postgresql运维，刚接过来他们的报表系统就出现高峰期访问不了的问题，报表涉及实时数据和离线数据，离线读pg，实时读redis。然后自然而然就把redis也挪到我们这边优化了 -_-! 。在这次优化过程中也是再次深刻感受到redis的各种坑 现象： 大数据报表周
阅读全文
摘要：背景 在业务发展过程中，会出现一些需要延时处理的场景，比如： a.订单下单之后超过30分钟用户未支付，需要取消订单b.订单一些评论，如果48h用户未对商家评论，系统会自动产生一条默认评论c.点我达订单下单后，超过一定时间订单未派出，需要超时取消订单等。。。处理这类需求，比较直接简单的方式就是定时任务
阅读全文
摘要：前言 分布式锁一般有三种实现方式：1. 数据库乐观锁；2. 基于Redis的分布式锁；3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式，基于Redis实现分布式锁。虽然网上已经有各种介绍Redis分布式锁实现的博客，然而他们的实现却有着各种各样的问题，为了避免误人子弟，本篇博客将详细
阅读全文
摘要：redis redis redis redis redis redis redis redis 2 2 10 月初，Redis 搞了个大新闻。别紧张，是个好消息：Redis 引入了名为 stream 的新数据类型和对应的命令，大概会在年底正式发布到 4.x 版本中。像引入新数据类型这样的变化在 Re
阅读全文
摘要：前言 设计一个缓存系统，不得不要考虑的问题就是：缓存穿透、缓存击穿与失效时的雪崩效应。 缓存穿透 缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，
阅读全文
摘要：引言 为什么写这篇文章？ 首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。目前没有一篇全面的博客，
阅读全文
摘要：引言 该文是对《分布式之数据库和缓存双写一致性方案解析》，一文的补充。博主在该文中，提到了这么一句话 应该没人问我，为什么没有先更新缓存，再更新数据库这种策略。 博主当时觉得，这种更新策略比较简单，没必要多做说明，结果太多人留言给博主，问我为什么不说这套方案？好吧，博主先跟大家道个歉，是我的问题。所
阅读全文
摘要：参见note：https://www.zybuluo.com/SailorXiao/note/136014 case现场 线上发现一台机器内存负载很重，top后发现一个redis进程占了大量的内存，TOP内容如下： 27190 root 20 0 18.6g 18g 600 S 0.3 59.2 9
阅读全文
摘要：redis的启动方式1.直接启动 进入redis根目录，执行命令: #加上‘&’号使redis以后台程序方式运行 1 ./redis-server & 2.通过指定配置文件启动 可以为redis服务启动指定配置文件，例如配置为/etc/redis/6379.conf 进入redis根目录，输入命令：
阅读全文
摘要：转载：http://www.cnblogs.com/kismetv/p/8654978.html 前言 Redis是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说Redis是实现网站高并发不可或缺的一部分。 我们使用Redis时，会接触Redis的5种对象类型（字符串、
阅读全文
摘要：转载：https://www.cnblogs.com/kismetv/p/9137897.html 前言 在上一篇文章中，介绍了Redis的内存模型，从这篇文章开始，将依次介绍Redis高可用相关的知识——持久化、复制(及读写分离)、哨兵、以及集群。 本文将先说明上述几种技术分别解决了Redis高可
阅读全文
