会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Liang
博客园
首页
新随笔
联系
订阅
管理
2019年2月12日
Scrapy实战篇(五)之爬取历史天气数据
摘要: 本篇文章我们以抓取历史天气数据为例,简单说明数据抓取的两种方式: 1、一般简单或者较小量的数据需求,我们以requests(selenum)+beautiful的方式抓取数据 2、当我们需要的数据量较多时,建议采用scrapy框架进行数据采集,scrapy框架采用异步方式发起请求,数据抓取效率极高。
阅读全文
posted @ 2019-02-12 21:34 liangxb
阅读(2073)
评论(0)
推荐(0)
编辑