2018年3月14日
scrapy处理需要跟进的url
摘要： 在做scrapy爬虫的时候经常会遇到需要跟进url的情况，网站a有许多url，但是我们需要跟进这些url，进一步获取这些url中的详细内容。 简单的说就是要先解析出所有需要的url，然后跟进这些url 那么现在来说说怎么做 scrapy中有个Request专门处理跟进的url 在处理函数parse中 阅读全文
posted @ 2018-03-14 10:34 菲菲菲菲菲常新的新手 阅读(1457) 评论(0) 推荐(0) 编辑