pg_parquet CrunchyData团队开源的pg parquet fdw

pg_parquet是CrunchyData 团队开源的pg paquet fdw，可以实现parquet 数据通过copy 命令到pg 表中，同时也支持将pg 表写入到parquet 文件中

一些使用场景

  • 就是上边说的，写入或者读取parquet 数据
  • 查看parquet 的元数据以及schema 信息

说明

对于parquet 数据的直接pg 读取为pg 表可以使用pg_duckdb fdw 扩展，进行互补，当然直接使用pg_duckdb fdw 可以解决pg_parquet 对于数据读写能力，可以互补使用

参考资料

https://github.com/CrunchyData/pg_parquet

https://github.com/pgcentralfoundation/pgrx

https://github.com/duckdb/pg_duckdb

posted on   荣锋亮  阅读(29)  评论(0)  编辑  收藏  举报

相关博文：
· Crunchy Bridge 通过duckdb 对于pg 进行扩展
· pgcat 基于rust 开发类似pgbouncer 的数据库链接池以及proxy 工具
· parquet文件的操作记录
· huggingface上数据集常用格式Parquet及调用
· 数据库_duckdb读写Parquet文件
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2023-12-11 dioxus 简单试用
2023-12-11 dioxus rust 构建跨平台应用的框架
2023-12-11 yew 基于rust 以及wasm 创建web 应用的框架
2022-12-11 使用 dragonflydb 作为godns 的redis 存储
2022-12-11 dremio 23 反射异常问题原因分析简单说明
2021-12-11 类似nginx include 模式管理haproxy 配置文件
2021-12-11 使用haproxy golang config-parser 包生成haproxy 配置

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示