会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Py行僧
IT世界,求取真经...
博客园
首页
联系
订阅
管理
2018年5月10日
高性能爬虫相关
摘要: 本质: 说到提高性能,我们可以想到的是利用多进程、多线程以及单线程实现并发,由于爬虫爬取信息时IO操作较多,所以利用单线程实现并发是较好的选择 爬虫本质上还是建立socket连接,通过http请求获取数据 IO多路复用和异步非阻塞 IO多路复用:监听多个socket连接的状态变化,是否连接成功,是否
阅读全文
posted @ 2018-05-10 20:24 Py行僧
阅读(130)
评论(0)
推荐(0)
编辑