会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
我的Github:
Github
寂夜云
婴其呜矣,求其友声
博客园
首页
新随笔
联系
订阅
管理
2017年5月18日
基于协程的爬虫
摘要: 基于gevent(协程),抓取站点的所有url 说到协程,协程不是进程或线程,其执行过程更类似于子例程,或者说不带返回值的函数调用。 协程在执行过程中遇到阻塞时转而执行别的子程序,阻塞结束后再返回来接着执行。 在gevent里面,上下文切换是通过yielding来完成的 代码中用到requests,
阅读全文
posted @ 2017-05-18 17:47 寂夜云
阅读(1395)
评论(0)
推荐(0)
编辑
公告