会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Cool
博客园
首页
新随笔
联系
管理
订阅
2018年1月23日
python-爬虫性能相关
摘要: 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个结束后才能继续下一个,效率会非常低。 需要强调的是:对于单线程下串行N个任务,并不完全等同于低效,如果这N个任务都是纯计算的任务,那么该线程对cpu的
阅读全文
posted @ 2018-01-23 19:11 Cool·
阅读(252)
评论(0)
推荐(0)
编辑
公告