PyTables 基于hdf5 以及numpy 分层数据集包

PyTables 基于hdf5 以及numpy 分层数据集包，pandas 内部对于hdf5格式的处理就是基于了此包

包含的特性

  • 支持表实体操作
  • 多维以及表单元嵌入支持
  • 表列支持索引操作
  • 支持基于numpy 的数字数组
  • 可扩展数组
  • 可变长度数组
  • 支持层级结构数据模型
  • 用户定义元数据
  • 支持读以及修改通用的hdf5 格式文件
  • 数据压缩，提供了不少数据压缩格式支持
  • 高性能i/o操作
  • 支持大于2G文件
  • 架构无关（主要是基于了hdf5 点的特点）

说明

对于hdf5文件的操作基于PyTables 相比原生的h5py 会方便不少，同时也有利于与pandas以及duckdb 或者其他兼容dataframe的工具

参考资料

https://github.com/PyTables/PyTables

posted on   荣锋亮  阅读(6)  评论(0)  编辑  收藏  举报

相关博文：
· hdf5 存储格式
· PyTables 提供的一些工具
· python处理hdf5文件
· 6-pandas数据加载、存储与文件格式
· Read Matlab File
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2024-02-06 dremio cloud cache 简单说明
2022-02-06 webjars 一般需要用到的几个插件
2022-02-06 frontend-maven-plugin webjars 模式构建web app
2022-02-06 reactive-interaction-gateway响应式交互网关
2022-02-06 grouparoo 源码项目结构
2021-02-06 idea 无法添加maven项目问题
2021-02-06 maven几个加速地址配置

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示