摘要: 先前需要做一个使用python读取大文件(大于1G),并逐条存入内存进行处理的工作。做了很多的尝试,最终看到了如下的文章。http://stackoverflow.com/questions/8009882/how-to-read-large-file-line-by-line-in-python该文章实际上提供了集中读取大文件的方式,先经过测试总结如下1. for line in fileHandle:该方式是最快速的。而且python虚拟机在内部帮助我们对buffer进行管理,内存占用量小,且不差错。2. fileinput方式该方式实际效果较慢,但是也有buffer管理功能3. (自己摸 阅读全文
posted @ 2013-10-16 13:05 aicro 阅读(30438) 评论(0) 推荐(1) 编辑