哈希表在淘宝分布式文件系统的应用

淘宝分布式文件系统

项目背景介绍

根据淘宝 2016 年的数据分析，淘宝卖家已经达到 900 多万，有上十亿的商品。每一个商品有包括大量的图片和文字(平均：15k)，粗略估计下，数据所占的存储空间在 1PB 以上，如果使用单块容量为 1T 容量的磁盘来保存数据，那么也需要 1024 x 1024 块磁盘来保存

思考？这么大的数据量，应该怎么保存呢？就保存在普通的单个文件中或单台服务器中吗？显然是不可行的。淘宝针对海量非结构化数据存储设计出了的一款分布式系统,叫 TFS,它构筑在普通的 Linux 机器集群上,可为外部提供高可靠和高并发的存储访问。

设计思路

以 block 文件的形式存放数据文件(一般 64M 一个 block),以下简称为“块”，每个块都有唯一的一个整数编号，块在使用之前所用到的存储空间都会预先分配和初始化。每一个块由一个索引文件、一个主块文件和若干个扩展块组成，“小文件”主要存放在主块中，扩展块主要用来存放溢出的数据。每个索引文件存放对应的块信息和“小文件”索引信息，索引文件会在服务启动是映射（mmap）到内存，以便极大的提高文件检索速度。“小文件”索引信息采用在索引文件中的数据结构哈希链表来实现。每个文件有对应的文件编号，文件编号从 1 开始编号，依次递增，同时作为哈希查找算法的 Key 来定位“小文件”在主块和扩展块中的偏移量。文件编号+块编号按某种算法可得到“小文件”对应的文件名。