ibis python dataframe 库

ibis是一个 python dataframe 库

包含的特性

  • 对 20 多个后端使用相同的 API
  • 具有嵌入式 DuckDB(默认)、Polars 或 DataFusion 的快速本地数据帧
  • 修改一行代码即可本地迭代、远程部署
  • 编写 SQL 和 Python 数据框代码,弥合数据工程和数据科学之间的差距

参考使用

  • 初始化
poetry new first
poetry shell
pip install 'ibis-framework[duckdb]'
  • 简单代码
import ibis
 
ibis.options.interactive = True
 
t = ibis.read_parquet("app.parquet", table_name="app")
 
print(t.head(5))

效果

ibis是一个 python dataframe 库

包含的特性

  • 对 20 多个后端使用相同的 API
  • 具有嵌入式 DuckDB(默认)、Polars 或 DataFusion 的快速本地数据帧
  • 修改一行代码即可本地迭代、远程部署
  • 编写 SQL 和 Python 数据框代码,弥合数据工程和数据科学之间的差距

参考使用

  • 初始化
poetry new first
poetry shell
pip install 'ibis-framework[duckdb]'
  • 简单代码
import ibis
 
ibis.options.interactive = True
 
t = ibis.read_parquet("app.parquet", table_name="app")
 
print(t.head(5))

效果

ibis是一个 python dataframe 库

包含的特性

  • 对 20 多个后端使用相同的 API
  • 具有嵌入式 DuckDB(默认)、Polars 或 DataFusion 的快速本地数据帧
  • 修改一行代码即可本地迭代、远程部署
  • 编写 SQL 和 Python 数据框代码,弥合数据工程和数据科学之间的差距

参考使用

  • 初始化
poetry new first
poetry shell
pip install 'ibis-framework[duckdb]'
  • 简单代码
import ibis
 
ibis.options.interactive = True
 
t = ibis.read_parquet("app.parquet", table_name="app")
 
print(t.head(5))

效果

说明

基于ibis 的python 通用dataframe处理还是很方便的,可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot

说明

基于ibis 的python 通用dataframe处理还是很方便的,可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot

说明

基于ibis 的python 通用dataframe处理还是很方便的,可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot

posted on 2024-06-06 08:00  荣锋亮  阅读(75)  评论(0编辑  收藏  举报

导航