随笔分类 -  数据库

摘要:背景 出于数据安全的考虑,自研了一个低成本的时序数据存储系统,用于存储历史行情数据。 系统借鉴了 InfluxDB 的列存与压缩策略,并基于 HBase 实现了海量存储能力。 由于运维同事缺乏 Hadoop 全家桶的运维经验,只能由我这个研发临时兼职,亲自指挥亲自部署了。 Hadoop 发行版选择 阅读全文
posted @ 2022-04-30 17:33 buttercup 阅读(899) 评论(1) 推荐(0) 编辑
摘要:时序数据基础 时序数据特点 时序数据TimeSeries是一连串随时间推移而发生变化的相关事件。 以下图的 CPU 监控数据为例,同个 IP 的相关监控数据组成了一条时序数据,不相关数据则分布在不同的时间序列上。 常见时序数据有: 监控日志:机器的 CPU 负载变化 用户行为:用户在电商网站上的访问 阅读全文
posted @ 2021-08-30 10:33 buttercup 阅读(20469) 评论(2) 推荐(3) 编辑
摘要:本文从源码层面分析了 redis 的缓存淘汰机制,并在文章末尾描述使用 Java 实现的思路,以供参考。 相关配置 为了适配用作缓存的场景,redis 支持缓存淘汰(eviction)并提供相应的了配置项: maxmemory 设置内存使用上限,该值不能设置为小于 1M 的容量。 选项的默认值为 0 阅读全文
posted @ 2021-02-13 11:01 buttercup 阅读(5415) 评论(0) 推荐(2) 编辑
摘要:作为内存数据库,Redis 依然提供了持久化机制,其主要目的有两个: 安全:保证进程崩溃后数据不会丢失 备份:方便数据迁移与快速恢复 Redis 同时提供两种持久化机制: RDB 快照:数据库在某个时间点的完整状态,其存储内容为键值对 AOF 日志:包含所有改变数据库状态的操作,其存储内容为命令 R 阅读全文
posted @ 2021-02-12 11:29 buttercup 阅读(936) 评论(0) 推荐(1) 编辑
摘要:为了保证服务的可用性,现代数据库都提供了复制功能,同时在多个进程中维护一致的数据状态。 Redis 支持一主多从的复制架构,该功能被简化成了一条 SLAVEOF 命令,下面通过条命令来解析 Redis 的主从复制机制。 通过 tcpdump 观察 在本机上通过 redis-server 启动两个服务 阅读全文
posted @ 2021-02-12 01:33 buttercup 阅读(1268) 评论(0) 推荐(0) 编辑
摘要:数据结构实现 相信大家对 redis 的数据结构都比较熟悉: string:字符串(可以表示字符串、整数、位图) list:列表(可以表示线性表、栈、双端队列、阻塞队列) hash:哈希表 set:集合 zset:有序集合 为了将性能优化到极致,redis 作者为每种数据结构提供了不同的实现方式,以 阅读全文
posted @ 2020-10-31 12:31 buttercup 阅读(1483) 评论(0) 推荐(2) 编辑
摘要:外部存储 数据库管理系统DBMS是现代应用中不可或缺的一部分,其中一个重要原因是其隐藏了外存管理的细节,并为应用层提供了高效、易用的数据检索Retrieval与持久化Persistence功能。 外存具有容量大、成本低、断电非易失等优点,但同时也存在寻址慢、访问粒度粗的问题: 内存寻址速度快(ns 阅读全文
posted @ 2020-08-10 00:10 buttercup 阅读(1972) 评论(1) 推荐(2) 编辑

点击右上角即可分享
微信分享提示