互联网架构模板:“存储层”技术

极客时间:《从 0 开始学架构》:互联网架构模板:“存储层”技术

互联网的标准技术架构如下图所示,该图涵盖了互联网技术公司的大部分技术点

本节聊下“存储层”

SQL

实力雄厚的大公司此时一般都会在 SQL 集群上构建 SQL 存储平台,以对业务透明的形式提供资源分配、数据备份、迁移、容灾、读写分离、分库分表等一系列服务,例如淘宝的 UMP(Unified MySQL Platform)系统。

NoSQL

NoSQL不是No SQL,而是Not Only SQL,即NoSQL是SQL的补充
NoSQL 发展到一定规模后,通常都会在 NoSQL 集群的基础之上再实现统一存储平台,统一存储平台主要实现这几个功能:

  • 资源动态按需分配
  • 资源自动化管理
  • 故障自动化处理

小文件存储

除了关系型的业务数据,互联网行业还有很多用于展示的数据,如淘宝的商品图片、商品描述。
由于互联网行业基本上每个业务都会有大量的小数据,如果每个业务都自己去考虑如何设计海量存储和海量访问,效率自然会低,重复造轮子也会投入浪费,所以自然而然就要将小文件存储做成统一的和业务无关的平台。
淘宝 TFS 的架构:

大文件存储

互联网行业的大文件主要分为两类:一类是业务上的大数据,如,电影网站的电影;另一类是海量的日志数据,如各种访问日志、操作日志等。
Hadoop 的生态圈:

posted @ 2022-01-25 20:35  牛犁heart  阅读(159)  评论(0编辑  收藏  举报