2016年10月17日
调试Scrapy过程中的心得体会
摘要： 1.大量抓取网页时出现“Memory Error”解决办法：设置一个队列，每当爬虫空闲时才向队列中放入请求，例如： More info on the spider_idle signal: http://doc.scrapy.org/en/latest/topics/signals.html#spi 阅读全文
posted @ 2016-10-17 17:51 lyzhou 阅读(613) 评论(0) 推荐(1) 编辑