会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
ccdjun
博客园
首页
新随笔
联系
订阅
管理
2021年4月15日
高性能异步爬虫
摘要: 引言:前面介绍的都是对单个网页的爬取,假如你想同时对多个网页进行爬取呢?这是你肯定会想到构建一个url列表然后循环遍历访问,首先我们知道无论是get请求还是post请求,都是同步阻塞操作。因为程序都是从上往下依次执行的,你给一个网站发起请求就必然等待接受到结果才会对下一个网站发起请求。这样是不是大大
阅读全文
posted @ 2021-04-15 23:50 Ccdjun
阅读(75)
评论(0)
推荐(0)
编辑
公告