python多线程爬虫设计及实现示例
摘要：
爬虫的基本步骤分为：获取，解析，存储。假设这里获取和存储为io密集型（访问网络和数据存储），解析为cpu密集型。那么在设计多线程爬虫时主要有两种方案：第一种方案是一个线程完成三个步骤，然后运行多个线程；第二种方案是每个步骤运行一个多线程，比如N个线程进行获取，1个线程进行解析（多个线程之间切换会降低 阅读全文
posted @ 2017-07-13 13:52 杰哥要增肥 阅读(4544) 评论(0) 推荐(0) 编辑
