摘要:
### 异步io io就是input,output,输入和输出, 读写硬盘,读写数据库的时候,就是输入输出,下载网页存入数据库的时候,就是io操作 以写数据为例,如果是阻塞型写入操作,进程要一直等待写结束返回才会进行后面的操作,但是如果你使用异步I/O,你可以将写请求发送到队列,然后就可以去做其他事 阅读全文
摘要:
#### 网址池的实现 对于比较大型的爬虫来说,URL管理的管理是个核心问题,管理不好,就可能重复下载,也可能遗漏下载。这里,我们设计一个URL Pool来管理URL。这个URL Pool就是一个生产者-消费者模式: 和scrapy的设计是一样的, 1,爬虫从网址池那url去下载解析, 2,爬虫解析 阅读全文