存储和数据库

存储

内存,树装数据结构【page,redo log,temp data】;硬盘, 【page files,redo log files,others】

单机文件系统

分部署文件系统

  • hdfs
  • ceph,算法crush

数据库

关系型数据库

  • mysql
  • postgresql

非关系型数据库

  • mongo(文档存储,灵活,可序列化为json/bson,管理员collection(文档的集合),4.0后开始支持事务,常用client/SDK交互)
  • redis(数据结构丰富(hash、set、zset、list),基于C语言实现,高性能,基于内存,支持AOF/RDB持久化,常用redis-cli/SDK交互)
  • es(文档存储,可序列化为json,管理单元index(文档的集合), 支持restful api,支持弱sql)

和RDBMS相比,ES天然能做“模糊搜索”,还能自动计算出关联程度。

数据库的分部署

问题

  • 容量【storage】
  • 弹性【cpu、mem、disk】
  • 性价比

新技术

Bypass OS Kernel

  • SPDK【kerne Space-->User Space;中断-->轮询;无帧数据结构】

AI

  • 智能存储格式转换【行存-->列存(行列混存),以何种方式存借助AI算法分析】

新硬件

高性能硬件:RDMA网络、Persistent Memory、可编程交换机、CPU/GPU/DPU

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更

总结

posted @ 2023-11-01 11:31  phyger  阅读(16)  评论(0编辑  收藏  举报