ibis python dataframe 库

ibis是一个 python dataframe 库

包含的特性

• 对 20 多个后端使用相同的 API
• 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧
• 修改一行代码即可本地迭代、远程部署
• 编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之间的差距

参考使用

• 初始化

poetry new first

poetry shell

pip install 'ibis-framework[duckdb]'

• 简单代码

import ibis

 

ibis.options.interactive = True

 

t = ibis.read_parquet("app.parquet", table_name="app")

 

print(t.head(5))

效果

ibis是一个 python dataframe 库

包含的特性

• 对 20 多个后端使用相同的 API
• 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧
• 修改一行代码即可本地迭代、远程部署
• 编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之间的差距

参考使用

• 初始化

poetry new first

poetry shell

pip install 'ibis-framework[duckdb]'

• 简单代码

import ibis

 

ibis.options.interactive = True

 

t = ibis.read_parquet("app.parquet", table_name="app")

 

print(t.head(5))

效果

ibis是一个 python dataframe 库

包含的特性

• 对 20 多个后端使用相同的 API
• 具有嵌入式 DuckDB（默认）、Polars 或 DataFusion 的快速本地数据帧
• 修改一行代码即可本地迭代、远程部署
• 编写 SQL 和 Python 数据框代码，弥合数据工程和数据科学之间的差距

参考使用

• 初始化

poetry new first

poetry shell

pip install 'ibis-framework[duckdb]'

• 简单代码

import ibis

 

ibis.options.interactive = True

 

t = ibis.read_parquet("app.parquet", table_name="app")

 

print(t.head(5))

效果

说明

基于ibis 的python 通用dataframe处理还是很方便的，可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot

说明

基于ibis 的python 通用dataframe处理还是很方便的，可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot

说明

基于ibis 的python 通用dataframe处理还是很方便的，可以简化简化不少框架与数据处理的集成

参考资料

https://github.com/ibis-project/ibis
https://ibis-project.org/
https://github.com/tobymao/sqlglot