摘要： 了解CrawlSpider 踏实爬取一般网站的常用spider，其中定义了一些规则（rule）来提供跟进link的方便机制，也许该spider不适合你的目标网站，但是对于大多数情况是可以使用的。因此，可以以此为七点，根据需求修改部分方法，当然也可以实现自己的spider。 官方文档：http://s 阅读全文