存储层

一、SQL

数据库中间件

二、NoSQL(not only SQL)

首先NoSQL在数据结构上与传统的SQL的不同,例如典型的Memcache的key-value结构、Redis的复杂数据结构、MongoDB的文档数据结构;其次,NoSQL无一例外地都会将性能作为自己的一大卖点。NoSQL的这两个特点很好地弥补了关系数据库的不足,因此在互联网行业NoSQL的应用基本上是基础要求。

三、小文件存储

除了关系型的业务数据,互联网行业还有很多用于展示的数据。例如,淘宝的商品图片、商品描述;Facebook的用户图片;新浪微博的一条微博内容等。
这些数据具有三个典型特征:

  • 数据小,一般在1MB以下
  • 数量巨大
  • 访问量巨大

典型的小文件存储有:淘宝的TFS、京东JFS、Facebook的Haystack

四、大文件系统

开源方案现在也很成熟了,所以大数据存储和处理这块反而是最简单的,因为你没有太多选择,只能用这几个流行的开源方案,例如,Hadoop、HBase、Storm、Hive等。实力雄厚一些的大公司会基于这些开源方案,结合自己的业务特点,封装成大数据平台,例如淘宝的云梯系统、腾讯的TDW系统。

posted @ 2020-02-24 23:42  测试开发分享站  阅读(174)  评论(0编辑  收藏  举报