当小内存遇上大量数据,你该怎么解决这个问题?

原文链接:https://pythonspeed.com/articles/data-doesnt-fit-in-memory

压缩:能用1个位的,就不要用一个字节
分块:将一个文件分块读入内存,分块处理。
如文件中记录了各种动物的信息,现在要查找熊猫的信息,则要逐块读入文件内容,判断熊猫的信息是否在此块,不在则读取下一块
索引:如按时间分片,将一个大文件写成多个小文件,每个小文件只记录一种类型的内容。
如每个小文件记录一个动物的信息,当要找熊猫时,直接根据文件名找到对应的文件,再载入文件内容到内存

posted on 2019-12-18 20:13  我和你并没有不同  阅读(262)  评论(0编辑  收藏  举报