Fork me on GitHub
摘要: 之前使用 scrapy 抓取数据的时候 ,默认是在逻辑中判断是否执行下一次请求 比如: 今天无意查看了 scrapy 的官方文档,可以使用 start_requests() 这个方法循环生成要爬取的网址 使用 python 一定要简单粗暴,于是把我把之前代码换了如下方式 注意:要注意的是重写 sta 阅读全文
posted @ 2016-12-24 14:02 花儿笑弯了腰 阅读(1221) 评论(0) 推荐(0) 编辑