2018年2月8日
python3下scrapy爬虫(第十二卷:解决scrapy数据存储大量数据时阻塞问题）
摘要： 之前我们使用scrapy爬取数据，用的存储方式是直接引入PYMYSQL，或者MYSQLDB，案例中数据量并不大，这种数据存储方式属于同步过程，也就是上一条语句执行完才能执行下一条语句，当数据量变大时，由于SCRAPY解析数据的速率远远大于数据存储入数据库的速度，以至于造成数据阻塞，可以理解为数据高并 阅读全文
posted @ 2018-02-08 10:02 我爱在伊甸园吃苹果 阅读(429) 评论(0) 推荐(0) 编辑