随笔分类 -  Database

如何用有限内存读取千万级Sqlite？
摘要：当sqlite足够大，matlab一次性读取往往会出现OOM的错误。为了能够成功读取其中数据，我首次的尝试是用Sql的LIMIT和OFFSET参数，但事实证明这样做并不能缓解内存占用过高的情况。笔者猜测Matlab在offset跳过前面的数据时会将跳过的数据以某种方式放入内存。换言之，越到后面，跳过 阅读全文
posted @ 2024-09-20 17:01 sq-Feng 阅读(36) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示