2019年6月21日
crawlspider的源码学习
摘要： Spider基本上能做很多事情了，但是如果你想爬取全站的话，可能需要一个更强大的武器。CrawlSpider基于Spider，但是可以说是为全站爬取而生。CrawlSpiders是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一 阅读全文
posted @ 2019-06-21 11:38 小学弟- 阅读(362) 评论(0) 推荐(0) 编辑