C/S关系型数据库引擎
高并发 数据量超大 网络与应用程序分离
MariaDB MySQL, Oracle, PostgreSQL, 或者 SQL Server
mysql :多线程SQL服务器组成的服务器/客户端体系结构-可伸缩性,安全性
PostgreSQL使用称为多版本并发控制或MVCC的技术来维护数据并发访问期间的数据一致性
本地化存储
嵌入式设备和物联网 数据分析 数据传送 文件归档/数据容器 替换自定义数据文件 教育与培训
桌面图形界面程序
SQLite DuckDB 基于本地文件系统设计的,都有着完整的数据库体系(客户端、SQL解析器、SQL优化器和存储引擎等等)
So SQLite is good for OLTP and DuckDB is better for OLAP.
缺乏用户管理和安全功能,无法被远程的客户端访问,适合单线程访问,对多线程高并发的场景不适用
缺乏细粒度访问控制以及除加密数据库文件本身之外的安全功能,在构建多用户或多租户应用程序时通常不受青睐。
缺乏任何数据库即服务(DBaaS)产品
Catalog和Schema : Database, Catalog and Schema
一个数据库系统包含多个Catalog,每个Catalog又包含多个Schema,而每个Schema又包含多个数 据库对象(表、视图、字段等
Catalog名称.Schema名称.表名称
select * from information_schema.schemata;
SELECT name, lat, lonFROM mytest.main.cities;
database_name :
system
temp
mytest
schema_name:
information_schema
pg_catalog
main
The CREATE SCHEMA statement creates a schema in the catalog. The default schema is main
查询meta数据
The views in the information_schema are SQL-standard views that describe the catalog entries of the database.
meta-data:
information_schema.schemata information_schema.tables information_schema.columns
implicit schemas :隐式
USE statement selects a database and optional schema touse as the defaultUSE memory;
USE duck.main;
Pull-based: Pull data from other operators when required
Push-based: Push data intooperatorwhen data is available
为了确保执行效率的高效,需要将Operator组成流水线执行。
有两种流水线的构建方式: Pull流水线基于迭代器模型
第一种是需求驱动的流水线,其中一个Operator不断从下级Operator重复拉取下一个数据Tuple;
第二种是数据驱动的流水线,由Operator将每个数据Tuple推送给下一个Operator。
参考
[DuckDB] 多核算子并行的源码解析 https://cloud.tencent.com/developer/article/2215828
https://dsdsd.da.cwi.nl/slides/dsdsd-duckdb-push-based-execution.pdf
DuckDB:开篇 https://juejin.cn/post/6965459230891442189
数据库 schema与catalog https://www.cnblogs.com/ECNB/p/4611309.html
Why do tree-based models still outperform deep learning on tabular data? https://arxiv.org/abs/2207.08815
https://github.com/antonycourtney/tad : CSV, Parquet, and SQLite and DuckDb database files
酷表ChatExcel https://chatexcel.com/
https://sqlchat.ai/
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库