存储和数据库
存储
内存,树装数据结构【page,redo log,temp data】;硬盘, 【page files,redo log files,others】
单机文件系统
分部署文件系统
- hdfs
- ceph,算法crush
数据库
关系型数据库
- mysql
- postgresql
非关系型数据库
- mongo(文档存储,灵活,可序列化为json/bson,管理员collection(文档的集合),4.0后开始支持事务,常用client/SDK交互)
- redis(数据结构丰富(hash、set、zset、list),基于C语言实现,高性能,基于内存,支持AOF/RDB持久化,常用redis-cli/SDK交互)
- es(文档存储,可序列化为json,管理单元index(文档的集合), 支持restful api,支持弱sql)
和RDBMS相比,ES天然能做“模糊搜索”,还能自动计算出关联程度。
数据库的分部署
问题
- 容量【storage】
- 弹性【cpu、mem、disk】
- 性价比
新技术
Bypass OS Kernel
- SPDK【kerne Space-->User Space;中断-->轮询;无帧数据结构】
AI
- 智能存储格式转换【行存-->列存(行列混存),以何种方式存借助AI算法分析】
新硬件
高性能硬件:RDMA网络、Persistent Memory、可编程交换机、CPU/GPU/DPU
- 存储介质变更
- 计算单元变更
- 网络硬件变更