摘要：
Scrapy单机架构 上图的架构师一种单机架构, 只在本机维护一个爬取队列, Scheduler进行调度, 而要实现多态服务器共同爬去数据关键就是共享爬取队列. Scrapy不可以自己实现分布式 : 1. 多台机器上部署的scrapy灰鸽子拥有各自的调度器, 这样就使得多态机器无法分配start_u 阅读全文
摘要：
什么是Cookie 简单来说就是当用户通过http协议访问一个服务器的时候, 这个服务器会将一些Name/Value兼职对返回给客户端浏览器, 并将这些数据加上一些限制条件. 在条件符合时, 这个用户下次再访问服务器的时候, 数据又被完整的带给服务器. 因为http是一种无状态协议, 用户首次访问w 阅读全文