会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
To be a better Programer...
首页
新随笔
联系
订阅
管理
2016年12月24日
自定义 Scrapy 爬虫请求的 URL
摘要: 之前使用 scrapy 抓取数据的时候 ,默认是在逻辑中判断是否执行下一次请求 比如: 今天无意查看了 scrapy 的官方文档,可以使用 start_requests() 这个方法循环生成要爬取的网址 使用 python 一定要简单粗暴,于是把我把之前代码换了如下方式 注意:要注意的是重写 sta
阅读全文
posted @ 2016-12-24 14:02 花儿笑弯了腰
阅读(1221)
评论(0)
推荐(0)
编辑
公告