26、HDF5 文件格式简介

转载：庐州月光 http://www.cnblogs.com/xudongliang/p/6907733.html

 

三代测序下机的原始数据不再是fastq格式了，而是换成了hdf5 格式，在做三代数据的分析之前，有必要先搞清楚hdf5 这种文件格式;

官网的链接如下：https://support.hdfgroup.org/HDF5/

HDF5 是一种灵活的文件储存格式，它相对其他的文件格式，肯定是有很多的优点，这里就不一一列举了，最值得我们关注的是，在这种格式中，数据是如何储存的。

对于hdf5 文件中的数据存储，有两个核心概念：

1）group 和 dataset

dataset 代表数据集，一个文件当中可以存放不同种类的数据集，这些数据集如何管理，就用到了group

最直观的理解，可以参考我们的文件管理系统，不同的文件位于不同的目录下:

目录就是hdf5中的group, 描述了数据集dataset的分类信息，通过group 有效的将多种dataset 进行管理和区分；

文件就是hdf5中的dataset, 表示的是具体的数据；

 

2）metadata

对于每一个dataset 而言，除了数据本身之外，这个数据集还会有很多的属性 attribute,。在hdf5中，还同时支持存储数据集对应的属性信息，

所有的属性信息的集合就叫做metadata;;