【python】利用h5py存储数据

两类容器：group & dataset

group类似文件夹，字典。 dataset是数据集，类似数组

支持更多的对外透明的存储特征，数据压缩，误差检测，分块传输

group下面可以是group，也可以是dataset

只能储存纯粹的数据，不能储存DataFrame, Panel等东西，如果要用使用 to_hdf

 

import h5py

读：

f = h5py.File(file, mode='r')

f.keys()

dset = f['mydataset']

写：

f = h5py.File(file, mode='w')

dset = f.create_dataset(name, dataOrSize, dtype, )

可选项：

chunks: True自动分块， 如果手动分块则输入元组

 

可以对数据块设置attrs

dset.attrs['abc'] = 1

 

高级特性：

滤波器组？加入参数compression = 'gzip'

hdf5文件本身大小没有限制

一个dataSet最多32维， 每个维最多2^64个值

一个chunk最大4G，